自分の入っていけない話題が多いとつまらないと思って自然と他のグループに移るんじゃないかなと思います。
貴方達が優しいから受け入れてくれると思ってるのかもしれないです。
トラブルの種になりそうな性格の人とは排除しないまでもゆるーく距離を置いておくのが正解ですよね...