やめた方がいいと思う。
辞めるってそんな人相手に言うの、勇気いると思います。味方してくれる人が1人でも居るなら、まずはその人に愚痴って心をスッキリさせて見てはいかがでしょうか。
そしてスッキリ心がまとまってから、辞めると声に出すのをおすすめします。