【技術の話】
技術面を説明しますと、フォローされている状態の解除は、UndoというActivityを相手のサーバに送信します。既に承認したフォローの取り消しを行うという流れです。

{
"type":"Undo",
"object":{
"type":"Follow",
"object":"/users/noellabo",
"id":"**"
}
id: "**"
}

フォロワーへはこちらから配信しているので、フォロワーリストから消して、配信しないようにすれば概ね済むのですが、相手のサーバではフォローしたままになっています。

相手のサーバに何らかの方法で投稿が配信される（同じサーバにフォロワーがいる場合など）と、相手先のサーバが、フォローしていることになっているアカウントに配送してしまいます。なので、これを解除しないと不完全になります。

そのため、Undoリクエストを行って、承認したFollowを取り消す必要があるわけです。

ブロックした際に行われる動作と、フォロー・フォロワーからの解除は、ブロックを行うか否かだけで、解除動作については実質的に同じです。