最低限の相槌は打つようにする
本当に他意がないのであれば、聞いている姿勢をあなたが示してやるようにした方がいい
相槌が難しければ軽く頷くとかでもいいと思います