私も今まさに同じ状況の友人がいて、
「一人で行っても楽しいところ(自分が心から行きたいところ)に相手を付き合わせる」と考えたら、モヤモヤが少なくなりました。