価値観が合わないという切り出し方をしてみては
あなたとは価値観が合わないと思うので、申し訳ないけど一緒にいて心から楽しいと思えないので距離を置きたい。例えば自分はこう思うけどいつもあなたはこうで、どちらが悪いというわけではないし無理をして合わせるべきとも思わないが考えが合わないのではないかと思う…とか