バイトを辞めることを理由にする
自分はこんな感じで異性に誘われましたけど不自然とは感じなかったし嫌でもなかったです。
(ちなみに互いに恋愛感情はなかったです)