差別だとは思わないけど、警戒される言い方
だって、普通は異性愛者だという考え方の表れなわけだから、同性愛者をディスる人である可能性があるわけで。
発言者が理解ある人か分からない状況なら、警戒せざるを得ないと思う。