上司に相談
別の課に異動などは難しいかもしれませんが(会社の規模にもよるので)、席を離して、という希望くらいは通るはず。
文句言う人の「私ズバズバ言う」は、あなたに反論されないための保険です。
耐えなくていいです。