なくさなくていい
自分も軽度の障害者ですが、障害あろうが犯罪は犯罪だしセクハラはセクハラだと思います。
性欲を周りにぶつける対策するのは軽度なら当人、重度なら周りの人の責任だと思います。
質問者さんが当人や家族の前で差別的発言さえしなければいくら嫌いでも大丈夫です。