嫌われても人は生きていける
とは言っても怖いものは怖いので、そのバイトを辞めるというのも手だと思います。無理しないでくださいね。