失礼にあたる場合も多い
個人的には性格や賢さなどの内面への言及と同等に相手と言い方次第です。
それでも外見への言及が特に言われるのは性や人種などの差別に強く結びついてきた点への牽制があるので、そこを踏まえて世間と相手の基準を測るべき事柄だと思う。