沸騰させる。
これだけでかなりマシになります。
あとはもう水道水は諦めて、スーパーやドラッグストアで無料で汲めるRO水を探しておくのもありです。
水道水を膜で濾してあるので不純物やトリハロメタンや塩素が無くなってるとかで、すっきりしてて飲みやすく、冷蔵庫保管必須ですが手軽です。