「価値観が合わない」というのを前に出す
あと、向こうが会いたがって会ってるのなら「この頻度で会って外食するのちょっと金銭的にも時間的にもしんどいから、会う頻度下げるかカフェだけにしたい。それか場所を私の近所にしてほしい」みたいに言うとか