休んで構わない
もし仮に先に入ってた予定のライブを諦めても行く価値があるようなら交流会に行っても良いかと思いますが、気にされているのは周りの目のようなので、休んでいいと思います。