Mastodonの構成の話。

ちいさなサーバは、VPSを一つ借りて、必要なプロセスを一つずつ起動して実行しています。

nginx、puma、sidekiq、node、postgresql、redisってとこかな。

nginxが外からのAPIアクセスや連合のリクエストを受け付けて、背後で実行しているMastodonのアプリケーションサーバであるpuma（mastodon-web）に処理を依頼します。

pumaは受け付けた内容を、その場で応答するものと、バックグラウンド処理にまわすものにわけます。

バックグラウンド処理は、小さなジョブに分割し、種類毎に順番待ちの列に突っ込んで、sidekiqプロセス（mastodon-sidekiq）が処理を行います。

pumaやsidekiqは、ユーザーにリアルタイムに知らせるべき内容をredisにpublish（発行）しておきます。

それをnode（mastodon-streaming）のプロセスが、現在subscription（購読）しているユーザーに対し、サーバ側からクライアント側に次々と流していきます。タイムラインがリアルタイム更新されていく仕組みです。

ずっと内容を保持しておくデータは、PostgreSQLによるデータベースに保持されています。

pumaやsidekiqからの読み書き、nodeからの読み出しを一手に引き受け、矛盾のない状態を維持しています。

redisは、みんなのホームやリストタイムラインを保持したり、pumaやsidekiqの一時的なデータをキャッシュして高速化に貢献したり、発行と購読の仕組みをサポートして発行側と購読側を橋渡しする役割を担っています。

全体の役割分担は、だいたいこんな感じです。

このほか、オプションとして、全文検索の処理を行うElasticsearchを実行する場合もあります。

Elasticsearchがあると、そのサーバでは全文検索ができるようになるのですが、Mastodon本体と同じかそれ以上にヘビーなプロセスなので、余力のあるサーバにしか設置されていません。

さて、ある程度の大きさのサーバになったら、これらのプロセスを複数用意して、よりたくさんの処理を捌けるように構成する必要があります。

nginxは、pumaが複数あるときには、処理を分散して引き渡す役割を果たします。応答してこないpumaがあったら他に割り振ることで、全体が一度にダウンしないようにする安全を担保する役割も果たしています。

sidekiqは、元々小さなジョブに分割された処理を実行するエンジンなので、たくさんあれば、それだけ同時にたくさんの処理ができます。

ジョブは種類でわけられているので、種類別のsidekiqを立てて、役割を分割することができます。

一番大事なローカルユーザーに応答する処理と、リモートサーバに配送する処理、リモートサーバから受けたリクエストに対応する処理など、別々にわけることで、負荷が高くなったときに、どの処理を優先し、どの処理に処理能力を配分するか、調整することもできます。

nodeは、redisの発行と購読の仕組みのおかげで、プロセスをたくさん起動しても、分散して対応することができます。

redisは、役割に応じて3つまで分割できます。最近は、redisの冗長化機能も使えるようになったようです。