正直に不快だと伝える
何の気無しに触ってしまっているので、ハッキリと嫌だと言うことを伝えた方がいいかと思います。
私が夫に対してそうなのですが、スキンシップの一つで悪気は無いような気がします。