"ActivityPub can't scale (笑)"の根拠として大きいのは恐らくフォロワー数に比例して増える配送負荷のことだろうと思っていて、それならリプライ等の1対1のやり取りはメッセージパッシング方式にしてくれても良いのではと思っている。
それさえ出来ればタイムラインの構築等の他の機能も含めてネットワークの集約によらずどうにかする余地が生まれるだろうし