デマを流してる人がいない場で自分から「デマを流されて迷惑してる」という話をする
実際に不倫してる人は普通自分からその話題に触れようとしないので、自分から言うことで被害者としての立場を固めましょう
デマを流す人は常習であることが多いため、たぶん他にも被害者がいます
いずれ「あの人は虚言癖で信用ならない」と周知されると思います