自己肯定感や劣等感
「俺は何もしていないのに何だ!俺が気持ち悪いのか!?」と腹を立てるのではと思います。
大体の人が「何か怖がらせてしまったな」で終わる所を、俺をバカにしたのか?くらいに捉えてしまい、嫌うのではないでしょうか。
(仕返しはだめですが。)