断った方がいい
別の上司にしつこく誘われていることを相談してみても良いかと思います。