その日は通話に上がるのをやめておく
でも口もききたくないのなら入らない以外の選択肢はないのでは?
複数人で通話しているのであれば、通話に入ってその人と話すことだけヌルッと避ければいい