縁は切っても良い
個人的に人間関係は相互理解が必須なので、我慢しすぎて爆発したり縁を切る前に話し合った方が良いと考えてはいますが、貴方の心がもう付き合いきれないと思ったらそれで良いんじゃないでしょうか。