大丈夫だと思います。
私も見た目でわかる障害持ちですがずっとこれで生きて来たので「珍しいね」位では特になんとも思いません。罵倒や拒絶等は流石に嫌ですが…。