すいません。またサービスが止まってしまいました。メディアストレージに問題あるようでサービスできなくなってます。
sidekiqは正常ですが、なぜかActivePubが死んでるおかしな状態になってます。

調査しますので、しばらくお待ちください。さっぱり不明なのでかなり時間を要すと思います。
#mynoghra_info #lucida_adm

というか、sidekiqでbandleがおかしくなってる気がするんだよなぁ。さっき正常にアクセスしたときもそうだった。

やりたくないけど、サーバ再セットアップしようか。無駄に時間だけかかってしょうがないや。

ちょっと検討します。
#lucida_adm

おかしくなる前にやったこと。

前提：wasabiにアクセスできない（プロクシ鯖→wasabi）

1. awsclientを入れなおし
2.aws configでキーを入れた（root、mastodonユーザともども）
3.mastodonサービス再起動
4.mastodonのActivePubにアクセスできなくなった

#lucida_adm

あともう1つは、aws configueでキーを設定しても、aws sts get-caller-identityを実行すると、

An error occurred (InvalidClientTokenId) when calling the CreateRole operation: The security token included in the request is invalid

で拒否られること。webで調べてみたけど、aws configueで設定できるのに拒否られる理由が見当たらなかった。
#lucida_adm

なにやってもダメだ...。wasabi側の不具合もあるので、サポートにお手紙送りました。
#lucida_adm

いちお1枚目がwasabi側の画像、2枚目がプロクシ鯖（至るwasabiストレージ）のアクセス結果。
たぶんこれはサーバがおかしくなる前の画像。以降はバケツに対しても転送されてないくさい。

いちおなー、aws clientからのアクセスが失敗してるので、mastodonのせいではないと思うんだけど。
#lucida_adm

awsってアクセス認証情報があって、ある間隔でアクセスが止まると無効化されるらしい。それを有効化できればアクセスできると思うだけど。
wasabi側でAPIキーを作りなおしても状況変わらないので、向こう側の問題だと思ってるんだけど。

んー。

それにしても、メディアストレージがおかしくなって、mastodon自体のサービスが止まってしまうというのも腑に落ちないんだけど。
#lucida_adm

いちお手動でsyncはできてるのでwasabiは正常だった。

sidekiqからはエラーが盛りだくさん。また、メディアのプロキシ鯖からアクセス不能なのも不思議。
とりま一部コマンドは通らないけどwasabiのせいではないことは分かった。
#lucida_adm

思い出したけど、前にyum updateかけたあとmastodonに画像投稿できなくなったことあったっけ。確かどこかのフォルダの権限がおかしくなったと思ったんだけど...
メモに残してなかった。

どうやらpgbouncerからpostgresqlにアクセス不能になってるみたい。なんでやねん...
#lucida_adm

rc2のbunpupきたのでこれ当ててみるか。それついでmastodon gemの再設置になるので。
もしくはDBぶっ壊したかもしれない...。
#lucida_adm

SKIP_POST_DEPLOYMENT_MIGRATIONS=true RAILS_ENV=production bundle exec rails

って何やってるんだろ。rc1にあげるときにやってたけど、これでアクセス不能になってるとかないかな。