「傷つけそうだから言わない」せいで、相手は原因不明に貴方が怒ったり不機嫌になるっていう状態に晒される
怒ったり不機嫌になったりすらしないのならとりあえずは問題ないかもしれませんが、我慢してたらいつかは爆発しますよね
そうなったら相手にとって貴方は「何も悪いことしてないのにちょっとしたことで急に爆発した人」です
そっちの方がよほど面倒くさいと思いますよ