趣味に戻ることに義務感があるなら離れてもいい
「元気になったら戻らなくちゃ」
と思っているのであれば離れていいと思います
趣味って義務じゃないので