断る理由をちゃんと話す
むしろ断ったことに対してキレられたら、その人からは離れた方がいいと思います