すいません。またサービスが止まってしまいました。メディアストレージに問題あるようでサービスできなくなってます。
sidekiqは正常ですが、なぜかActivePubが死んでるおかしな状態になってます。
調査しますので、しばらくお待ちください。さっぱり不明なのでかなり時間を要すと思います。
#mynoghra_info #lucida_adm
というか、sidekiqでbandleがおかしくなってる気がするんだよなぁ。さっき正常にアクセスしたときもそうだった。
やりたくないけど、サーバ再セットアップしようか。無駄に時間だけかかってしょうがないや。
ちょっと検討します。
#lucida_adm
おかしくなる前にやったこと。
前提:wasabiにアクセスできない(プロクシ鯖→wasabi)
1. awsclientを入れなおし
2.aws configでキーを入れた(root、mastodonユーザともども)
3.mastodonサービス再起動
4.mastodonのActivePubにアクセスできなくなった
あともう1つは、aws configueでキーを設定しても、aws sts get-caller-identityを実行すると、
An error occurred (InvalidClientTokenId) when calling the CreateRole operation: The security token included in the request is invalid
で拒否られること。webで調べてみたけど、aws configueで設定できるのに拒否られる理由が見当たらなかった。
#lucida_adm
なにやってもダメだ...。wasabi側の不具合もあるので、サポートにお手紙送りました。
#lucida_adm
いちお1枚目がwasabi側の画像、2枚目がプロクシ鯖(至るwasabiストレージ)のアクセス結果。
たぶんこれはサーバがおかしくなる前の画像。以降はバケツに対しても転送されてないくさい。
いちおなー、aws clientからのアクセスが失敗してるので、mastodonのせいではないと思うんだけど。
#lucida_adm
awsってアクセス認証情報があって、ある間隔でアクセスが止まると無効化されるらしい。それを有効化できればアクセスできると思うだけど。
wasabi側でAPIキーを作りなおしても状況変わらないので、向こう側の問題だと思ってるんだけど。
んー。
それにしても、メディアストレージがおかしくなって、mastodon自体のサービスが止まってしまうというのも腑に落ちないんだけど。
#lucida_adm
いちお手動でsyncはできてるのでwasabiは正常だった。
sidekiqからはエラーが盛りだくさん。また、メディアのプロキシ鯖からアクセス不能なのも不思議。
とりま一部コマンドは通らないけどwasabiのせいではないことは分かった。
#lucida_adm
rc2のbunpupきたのでこれ当ててみるか。それついでmastodon gemの再設置になるので。
もしくはDBぶっ壊したかもしれない...。
#lucida_adm
今wasabiのサポートとやりとりしてるので(たぶんこれもおま環のせいかもしれない;;;)、あと画像が復帰できれば復旧で扱う。それまではまだこっちでやろかな。
#lucida_adm
画像きちゃあああああああ!!!
やっぱyum updateのせいみたい。/var/lib/nginxはmastodonから触るので所有者はmastodonにならないといけないんだけど、yum updateするとnginxに置き換わってアクセス不能になるんだよ。
なので、
chown -R mastodon:mastodon /var/lib/nginx
で所有者を変えないといけない。メモしてなかったなぁ。とりあえず1日くらい様子見ることにするよー
#lucida_adm
今回の事象まとめ。
<現象>
3.0.1.12以降のcommitを当てるとsidekiqダッシュボードにアクセスできない。precompileに失敗する。1/26頃からmastodonサービス停止していた。(sidekiq、webの2つのサービス失敗)
<原因>
・去年の1月にmastodonのパスワードを変えたとき、env.productionを修正し忘れてた(ワシのせいぢゃよ。でもこれ以降いままで運用できてた理由が謎...)
・cld3ライブラリの参照がうまくできなかった(原因不明。mastodonではなくRuby側の原因?)
・yum updateをおこなったあと、nginxの実行環境の所有者が勝手に書き換わった。(CentOSの謎挙動 ぷんすこ)
<その他>
awsコマンドが一部実行できないものがある。wasabiサポートに問い合わせ中。
#lucida_adm
ぬか喜びが嫌なので、復活きちゃあああああああああああああ!!!!!!とは言わないぞ。
いちおmastodon復旧できた。sidekiqのダッシュボードもひらけたので、パス誤りもあったみたいだね。
なんだけど、相変わらず画像の送受信はできない。
ぴえん
#lucida_adm