行かなくて良いと思います
確かに他の方に迷惑になるというのは分かりますが、それで無理をしてもあまり良いことはないかなと思います。まずは自分をお大事になさってください