間に合っていますと告げてそれ以上取り合わない
こちらの都合などお構いなしに話をしてくるのだから、切り上げる権限はこちらにあります。遠慮なく「間に合っているのでお引取りください」でOKです。