断ってもいいと思います
無理して付き合うのは相手にも失礼なので…
付き合うなら相手の人柄より自分がその人と一緒にいて心地いいと思えるかはかなり重要だと思います。