断って良いと思う
別に人生一度は絶対に交際しないといけないわけでもないし。この先もっと良い人で気負いせずお付き合いできる相手が現れるかも知れないし。