体型云々ではなく
2人のことなのでなんとも言えませんが、質問者さんが嫌な気持ちになっているのに治らないようなら別れを検討することも視野に入れては……?