正直に断る
ここで「じゃあご飯だけでも」とか言われてそれでも嫌だったら「今お出かけする元気なくて、申し訳ないです」