すいません。またサービスが止まってしまいました。メディアストレージに問題あるようでサービスできなくなってます。
sidekiqは正常ですが、なぜかActivePubが死んでるおかしな状態になってます。

調査しますので、しばらくお待ちください。さっぱり不明なのでかなり時間を要すと思います。

というか、sidekiqでbandleがおかしくなってる気がするんだよなぁ。さっき正常にアクセスしたときもそうだった。

やりたくないけど、サーバ再セットアップしようか。無駄に時間だけかかってしょうがないや。

ちょっと検討します。

スレッドを表示

おかしくなる前にやったこと。

前提:wasabiにアクセスできない(プロクシ鯖→wasabi)

1. awsclientを入れなおし
2.aws configでキーを入れた(root、mastodonユーザともども)
3.mastodonサービス再起動
4.mastodonのActivePubにアクセスできなくなった

スレッドを表示

あともう1つは、aws configueでキーを設定しても、aws sts get-caller-identityを実行すると、

An error occurred (InvalidClientTokenId) when calling the CreateRole operation: The security token included in the request is invalid

で拒否られること。webで調べてみたけど、aws configueで設定できるのに拒否られる理由が見当たらなかった。

スレッドを表示

なにやってもダメだ...。wasabi側の不具合もあるので、サポートにお手紙送りました。

スレッドを表示

いちお1枚目がwasabi側の画像、2枚目がプロクシ鯖(至るwasabiストレージ)のアクセス結果。
たぶんこれはサーバがおかしくなる前の画像。以降はバケツに対しても転送されてないくさい。

いちおなー、aws clientからのアクセスが失敗してるので、mastodonのせいではないと思うんだけど。

スレッドを表示

awsってアクセス認証情報があって、ある間隔でアクセスが止まると無効化されるらしい。それを有効化できればアクセスできると思うだけど。
wasabi側でAPIキーを作りなおしても状況変わらないので、向こう側の問題だと思ってるんだけど。

んー。

それにしても、メディアストレージがおかしくなって、mastodon自体のサービスが止まってしまうというのも腑に落ちないんだけど。

スレッドを表示

いちお手動でsyncはできてるのでwasabiは正常だった。

sidekiqからはエラーが盛りだくさん。また、メディアのプロキシ鯖からアクセス不能なのも不思議。
とりま一部コマンドは通らないけどwasabiのせいではないことは分かった。

スレッドを表示

思い出したけど、前にyum updateかけたあとmastodonに画像投稿できなくなったことあったっけ。確かどこかのフォルダの権限がおかしくなったと思ったんだけど...
メモに残してなかった。

スレッドを表示

どうやらpgbouncerからpostgresqlにアクセス不能になってるみたい。なんでやねん...

スレッドを表示

rc2のbunpupきたのでこれ当ててみるか。それついでmastodon gemの再設置になるので。
もしくはDBぶっ壊したかもしれない...。

スレッドを表示

SKIP_POST_DEPLOYMENT_MIGRATIONS=true RAILS_ENV=production bundle exec rails

って何やってるんだろ。rc1にあげるときにやってたけど、これでアクセス不能になってるとかないかな。

スレッドを表示

mastodonからDBアクセス不能に陥ってたのは、envのDBパスが間違っていた(更新してなかった)というヲチでした... むしろ何で今まで正常に使えてたの?www
というか、全ての元凶はここでは?w

なんだけど、今度はmigrationで失敗。次から次へとやってくるなあ...

スレッドを表示

ぬか喜びが嫌なので、復活きちゃあああああああああああああ!!!!!!とは言わないぞ。

いちおmastodon復旧できた。sidekiqのダッシュボードもひらけたので、パス誤りもあったみたいだね。

なんだけど、相変わらず画像の送受信はできない。

ぴえん

スレッドを表示

今wasabiのサポートとやりとりしてるので(たぶんこれもおま環のせいかもしれない;;;)、あと画像が復帰できれば復旧で扱う。それまではまだこっちでやろかな。

スレッドを表示

画像きちゃあああああああ!!!
やっぱyum updateのせいみたい。/var/lib/nginxはmastodonから触るので所有者はmastodonにならないといけないんだけど、yum updateするとnginxに置き換わってアクセス不能になるんだよ。
なので、
chown -R mastodon:mastodon /var/lib/nginx

で所有者を変えないといけない。メモしてなかったなぁ。とりあえず1日くらい様子見ることにするよー

スレッドを表示

まだ一つ疑問なのは、
aws sts get-caller-identity
が失敗する。これだけ謎。こちらはたぶんawsの仕様か、wasabiがやらかしてるせいか。ここはサポセンに聞いてます。

スレッドを表示

今回の事象まとめ。

<現象>
3.0.1.12以降のcommitを当てるとsidekiqダッシュボードにアクセスできない。precompileに失敗する。1/26頃からmastodonサービス停止していた。(sidekiq、webの2つのサービス失敗)

<原因>
・去年の1月にmastodonのパスワードを変えたとき、env.productionを修正し忘れてた(ワシのせいぢゃよ。でもこれ以降いままで運用できてた理由が謎...)
・cld3ライブラリの参照がうまくできなかった(原因不明。mastodonではなくRuby側の原因?)
・yum updateをおこなったあと、nginxの実行環境の所有者が勝手に書き換わった。(CentOSの謎挙動 ぷんすこ)

<その他>
awsコマンドが一部実行できないものがある。wasabiサポートに問い合わせ中。

スレッドを表示

bundleを作るときにmastodonのパスワードを記憶するとかあるのかなって。んー謎。

スレッドを表示
ログインして会話に参加
Fedibird

LTLのないFediverse志向の汎用Mastodonサーバです。Fediverseの活動拠点としてご利用ください。