「旦那(もしくは嫁)に浮気を疑われている」
流石にこれを言ってしまえば今後誘ってくることはないと思う