降りない方が自然かも
先に男性が乗ってたとしたら後から来た女性側が乗る乗らないの判断をするべきだと思うからそのまま乗ってた方が自然で良いかなと思う