フォロイー(こっちからフォローしてる人)やフォロワーのカウントは、わりとややこしいよ。
まず、相手がアカウント削除すると、そのことが自分のサーバに伝わってくる。これが正しく処理されれば、フォロイーもフォロワーも解除される。
稀にこれが正しく処理されないで、まだ存在することになっている場合もある。
解除されるとカウントが減るのが正しいんだけど、これもいちいち集計すると重いので、あらかじめ合計を保存してあって、そこから数字を引いたりする。
実数とはズレてしまうことがあって、フォロワー数が-1とか、変なことになる場合もあるよ。
Mastodonの場合は、これを再集計するtootctlコマンドがあるので、これで修復する。
あと、リモートの既に存在しないアカウントや、サーバごと消えちゃった場合など、アカウントの幻が残っているのを、管理者が掃除することがある。
Mastodonでいうと、tootctl accounts cullとかtootctl domains purgeとか、最近では管理画面でも消せるようになった。この実行タイミングでごそっと減ることがある。