辞めた方が良いと思う
バイトに限らず「辞めようか悩みながら続ける」ってかなり辛くて消耗する行為だと思います。
あと個人的には、心の不調でお休みされている社員さんが居る、というのがかなり不安要素で危険な気がします。