白がダメというより、暗い色にしましょうってことだと思う
ワイシャツはもともと肌着だったから白が許されてるとか、白が正装な衣類なので許されてるとかだと思います。
ワイシャツ以外の衣類は黒か、小物はダークグレーまでがマナーだと思います。