不倫ではなく嘘をついたことを責める
ひとまず、後ろめたいことがないなら嘘をつかずに堂々としろと詰めるのはいかがでしょうか