単純に色が浮くからだと思うけど、そもそも葬儀会場では普通は脱ぐものなのであまり気にしないでいいと思う
一応マナー本とか見ると色々書いてますが、今結構みんな自由ですよ……仕事のお付き合いで行くお葬式とかなら気にした方がいいですが、身内の場合は気にする人が身内にいなければ大丈夫です。