とりあえず上司に相談した実績は作っておく
その同僚なりにコミュニケーション取ろうと頑張っているような気もするし、愛想良く返しているのなら、迷惑だって伝わってなさそう。
こういう時は集中したいので仕事上必要なこと以外は話しかけないでとか、同僚とルールを決められたらいいですね。