被害者でもないのに辞める必要はない
追記読みました
仕事ならともかく趣味にまで他人に口出しさせることないし、合わせる必要もないです。