その気持ちを正直に打ち明ける
きっと「気にしないで頑張って!またいつかご飯に行こうね!」的な感じで送り出して貰えるし、罪悪感も軽くなると思う