自社から派遣された先が合わずに休職しました。その際は一緒に派遣された先輩等に間に入ってもらい、気まずい人と直接接触せずに済みました。
もし可能であれば、問題の上司より上の役職者に相談したり、書面でのやり取り以外は第三者を介すか立ち会ってもらうなど、協力者を探せるといいかと思います。