@frfr 遅い理由はわかったので、ちょっと強引にスピードアップしてみたよ。
https://github.com/fedibird/mastodon/commit/54a602d548cb93b9f54ccb254f87663ede089454

やり方がめっちゃ汚いのと、ブロックしてる人が多かったりするとちゃんと表示されない弱点があって、何か対処考えようと思ってるけど、とりあえず実用上はほぼ問題なさそう。