断る
予定があると断れば、それは仕方ないことだし、深く聞かれることもないし、それで印象悪くなることはないと思います。