ニュアンスによる
私も人の名前と顔が全然覚えられなくて(ある程度親しい人はわかります)、自分は他人に興味が無いのかなーって思ってますし、私の友人も同じようなことを言っていました。類友ですね。
合わないなと思ったら離れた方が良いんじゃないでしょうか