最初に「手短に」と言っておく
話しかけられる時に「手短に」とか「1分だけなら」と先に言っていただければすぐ終わらせようとするか後日改めると思います。またはお昼はちゃんと休憩したい、と伝えるとか。
グイグイ行く人は何言ってもお構い無しかもしれませんが…大抵の営業人は一旦引くと思います。