他の友人知人に根回ししておいては?
「あの人にこんな事言われて戸惑っているし、距離を取りたい」と先に伝えておくのがよいかと。
一人での防御に限界はありますから…
それともし今後2人っきりになりそうな場合、ICレコーダーで録音しましょう。
録音を聞かせてしまえば
「実際にセクハラしてる」と周りに伝わりますし…