はっきり言っちゃう
①相手の悩みが解決されないこと
②話の聞き役として時間を取られること
の2つだと思います。
①は「同じ話ばかりでウザイ」のでもいいのですが、優しく伝えるなら「あなたの悩みを解決できず、自分の無力さを感じて私も辛くなる」と自分のせいにしてもいいと思います。