素直に話してみては?
それで逆ギレしたりやめないような人ならどんだけ話が合っても付き合いは続かないと思うし…