実は苦手なんだよね~と伝える
でも、それはご友人が苦手だと伝えてくれないと、質問者さんも配慮が出来ないですよね。
気持ちは言葉にしなきゃ伝わらないのです。
質問者さんは優しくお話を聞いてあげているんだと思いますが、勇気を出してお話するのが一番です。