してもいい
弟さんとお母さんが2人になることで、なにか問題が起こるなら少し悩むかもだけど。
「親不孝かも」という気持ちが残るなら、いざと言う時に駆けつけれる距離に引っ越されることをおすすめします。