日常生活に支障がないなら大丈夫
落ち込んでしまう気持ちはよく分かりますが、運動能力が低いこと自体は別におかしなことじゃないので気に病む必要はないです
私も学生時代、体育は壊滅的に苦手でしたが、大人になったら授業でやるような激しい運動などしなくていいし、特に困ってません