すいません。またサービスが止まってしまいました。メディアストレージに問題あるようでサービスできなくなってます。
sidekiqは正常ですが、なぜかActivePubが死んでるおかしな状態になってます。

調査しますので、しばらくお待ちください。さっぱり不明なのでかなり時間を要すと思います。

というか、sidekiqでbandleがおかしくなってる気がするんだよなぁ。さっき正常にアクセスしたときもそうだった。

やりたくないけど、サーバ再セットアップしようか。無駄に時間だけかかってしょうがないや。

ちょっと検討します。

おかしくなる前にやったこと。

前提:wasabiにアクセスできない(プロクシ鯖→wasabi)

1. awsclientを入れなおし
2.aws configでキーを入れた(root、mastodonユーザともども)
3.mastodonサービス再起動
4.mastodonのActivePubにアクセスできなくなった

あともう1つは、aws configueでキーを設定しても、aws sts get-caller-identityを実行すると、

An error occurred (InvalidClientTokenId) when calling the CreateRole operation: The security token included in the request is invalid

で拒否られること。webで調べてみたけど、aws configueで設定できるのに拒否られる理由が見当たらなかった。

なにやってもダメだ...。wasabi側の不具合もあるので、サポートにお手紙送りました。

いちお1枚目がwasabi側の画像、2枚目がプロクシ鯖(至るwasabiストレージ)のアクセス結果。
たぶんこれはサーバがおかしくなる前の画像。以降はバケツに対しても転送されてないくさい。

いちおなー、aws clientからのアクセスが失敗してるので、mastodonのせいではないと思うんだけど。

awsってアクセス認証情報があって、ある間隔でアクセスが止まると無効化されるらしい。それを有効化できればアクセスできると思うだけど。
wasabi側でAPIキーを作りなおしても状況変わらないので、向こう側の問題だと思ってるんだけど。

んー。

それにしても、メディアストレージがおかしくなって、mastodon自体のサービスが止まってしまうというのも腑に落ちないんだけど。

いちお手動でsyncはできてるのでwasabiは正常だった。

sidekiqからはエラーが盛りだくさん。また、メディアのプロキシ鯖からアクセス不能なのも不思議。
とりま一部コマンドは通らないけどwasabiのせいではないことは分かった。

思い出したけど、前にyum updateかけたあとmastodonに画像投稿できなくなったことあったっけ。確かどこかのフォルダの権限がおかしくなったと思ったんだけど...
メモに残してなかった。

どうやらpgbouncerからpostgresqlにアクセス不能になってるみたい。なんでやねん...

rc2のbunpupきたのでこれ当ててみるか。それついでmastodon gemの再設置になるので。
もしくはDBぶっ壊したかもしれない...。

SKIP_POST_DEPLOYMENT_MIGRATIONS=true RAILS_ENV=production bundle exec rails

って何やってるんだろ。rc1にあげるときにやってたけど、これでアクセス不能になってるとかないかな。

mastodonからDBアクセス不能に陥ってたのは、envのDBパスが間違っていた(更新してなかった)というヲチでした... むしろ何で今まで正常に使えてたの?www
というか、全ての元凶はここでは?w

なんだけど、今度はmigrationで失敗。次から次へとやってくるなあ...

ぬか喜びが嫌なので、復活きちゃあああああああああああああ!!!!!!とは言わないぞ。

いちおmastodon復旧できた。sidekiqのダッシュボードもひらけたので、パス誤りもあったみたいだね。

なんだけど、相変わらず画像の送受信はできない。

ぴえん

今wasabiのサポートとやりとりしてるので(たぶんこれもおま環のせいかもしれない;;;)、あと画像が復帰できれば復旧で扱う。それまではまだこっちでやろかな。

画像きちゃあああああああ!!!
やっぱyum updateのせいみたい。/var/lib/nginxはmastodonから触るので所有者はmastodonにならないといけないんだけど、yum updateするとnginxに置き換わってアクセス不能になるんだよ。
なので、
chown -R mastodon:mastodon /var/lib/nginx

で所有者を変えないといけない。メモしてなかったなぁ。とりあえず1日くらい様子見ることにするよー

まだ一つ疑問なのは、
aws sts get-caller-identity
が失敗する。これだけ謎。こちらはたぶんawsの仕様か、wasabiがやらかしてるせいか。ここはサポセンに聞いてます。

今回の事象まとめ。

<現象>
3.0.1.12以降のcommitを当てるとsidekiqダッシュボードにアクセスできない。precompileに失敗する。1/26頃からmastodonサービス停止していた。(sidekiq、webの2つのサービス失敗)

<原因>
・去年の1月にmastodonのパスワードを変えたとき、env.productionを修正し忘れてた(ワシのせいぢゃよ。でもこれ以降いままで運用できてた理由が謎...)
・cld3ライブラリの参照がうまくできなかった(原因不明。mastodonではなくRuby側の原因?)
・yum updateをおこなったあと、nginxの実行環境の所有者が勝手に書き換わった。(CentOSの謎挙動 ぷんすこ)

<その他>
awsコマンドが一部実行できないものがある。wasabiサポートに問い合わせ中。

bundleを作るときにmastodonのパスワードを記憶するとかあるのかなって。んー謎。

ログインして会話に参加
Fedibird

様々な目的に使える、日本の汎用マストドンサーバーです。安定した利用環境と、多数の独自機能を提供しています。