聞き手は「由美」ではないので、どちらも由美?と言っている。つまり「私」に聞こえない声の主が存在する。
という話と解釈します。