電話番号、メールアドレスで検索できる設定の解除
知り合いかも?に出てくるのは大体これら二つのせいです。
あとは下の回答にもあるように、垢バレして困ることは書き込まない、鍵垢にする、が一番です。
すべてが嘘のツイートでもしない限り、絶対に見つからない方法はありません。