寝るのはしょうがないけど断り(謝罪)は入れるべき
まぁ「ごめん明日早いからあとは明日話そう」的な断りくらいは入れたほうが親切かなとは思います