表面積が多いので汚れを掴みやすいとか
洗った手より清潔な部位ってほとんど無いしうっかり触りがちな髪だから慣用句くらい言われるようになってるのかも