断るのも大変ですね。お察しします。
・お弁当作ってきたので、と言う
・じゃあ『みんな』で行きましょう!と、言う
周りの人にも聞こえるように返事をすると、察したお姉様方に助け舟を出していただけるかもしれません。親切心で誘っている方かもしれませんが、食事も一緒だと休んだ気がしないですよね。