わがままでなく正当な自衛だと思います
過剰に避けたり無視したりしているわけではないので全然大丈夫だと思います
寧ろやんわり態度を変えられたらまともな相手なら(嫌なんだな)と察せられてお互い良いような気がします
質問者さんが気負わず人生楽しく過ごせますように…!