相手の話してることを噛み砕いて理解しようとするときは目線があちこちに行っても良いことにする
のようにずっと目を見てないといけないってわけじゃないと思います?
同意や、その意見には同意できないけれども尊重は出来ますよ、みたいな相槌を打つときだけでも目を(又は目の当たりを)みると良い会話になりそうです。