多分そういう意味ではない
好きに何でも飲み食いできるわけじゃなくいろいろ制限されて大変だね、みたいな意味かと
みんなと同じ時に同じものを食べられないのもしんどいもんだし、侮辱ではなくそういった点を心配した、いわば大変だねって意味合いだと思う