「アレルギーが多いので」と断る
参加するのは食べられる相手だけの時にしておいた方が無難だと思いますよ。この人何しに来た?と顰蹙を買いそうなので。まあ逆にその後誘われなくなって楽かもしれませんが…