今からでも遅くないよ
悪口の対処はやり返し(悪口や無視など)か説得しかないのではないでしょうか…