用事があるので〜と言う
そんなことくらいで失礼にならないですよ