きっぱり断る
そうでないなら多分ヤバい人なので職場の誰かに相談した方がいいと思います
恐らく過去にロックオンされてた人もいるだろうし対処法考えられるかもしれませんよ