やめていいと思う
他人に遠慮してやりたくもない部活を続けて、大人になってからずっと後悔するより遥かにマシだと思います。
高校生の時、結構遅い時期に部活辞めましたが、もっと早く辞めたほうが良かったと思ってます。因みに辞める時期が遅くなったのは部員に遠慮したからです。