セーフかアウトかで言えばセーフ
小声で話すのがあなたなりの配慮であるなら、誰にもそれを頭ごなしに否定する権利はないよ。