Fedibirdの場合Elasticsearchが有効になっているんですが、フォローインポート時に増えるアカウントをElasticsearchに登録する負荷がかなりのもので、実行時間の1/3〜1/4は占めてるんじゃないかな。