そのまま正直に伝える
それで相手が怒ったりするのであればそれまでの関係です。
どちらが悪いという話でもないですし…
相手が理解ある人ならお互い言葉が足りなかったねで終わるはずです。