気安いのは特に不快じゃない
とはいえ、何か「気安く話し掛けてきてるしもしかして俺を(男女のあれこれ的な意味で)落とそうとしてるな」ってニュアンスでのその言葉っぽく聞こえるので、
正直これは男の方が自意識過剰なんじゃないかと思うんでその気がなかったら接し方を改めるのは賛成です。