断るべき
断る口実として使っていいかという意味なら、別で角が立たない理由を挙げておくべきかなと思います。