すいません。またサービスが止まってしまいました。メディアストレージに問題あるようでサービスできなくなってます。
sidekiqは正常ですが、なぜかActivePubが死んでるおかしな状態になってます。
調査しますので、しばらくお待ちください。さっぱり不明なのでかなり時間を要すと思います。
#mynoghra_info #lucida_adm
というか、sidekiqでbandleがおかしくなってる気がするんだよなぁ。さっき正常にアクセスしたときもそうだった。
やりたくないけど、サーバ再セットアップしようか。無駄に時間だけかかってしょうがないや。
ちょっと検討します。
#lucida_adm
おかしくなる前にやったこと。
前提：wasabiにアクセスできない（プロクシ鯖→wasabi）
1. awsclientを入れなおし
2.aws configでキーを入れた（root、mastodonユーザともども）
3.mastodonサービス再起動
4.mastodonのActivePubにアクセスできなくなった
あともう1つは、aws configueでキーを設定しても、aws sts get-caller-identityを実行すると、
An error occurred (InvalidClientTokenId) when calling the CreateRole operation: The security token included in the request is invalid
で拒否られること。webで調べてみたけど、aws configueで設定できるのに拒否られる理由が見当たらなかった。
#lucida_adm
なにやってもダメだ...。wasabi側の不具合もあるので、サポートにお手紙送りました。
#lucida_adm
いちお1枚目がwasabi側の画像、2枚目がプロクシ鯖（至るwasabiストレージ）のアクセス結果。
たぶんこれはサーバがおかしくなる前の画像。以降はバケツに対しても転送されてないくさい。
いちおなー、aws clientからのアクセスが失敗してるので、mastodonのせいではないと思うんだけど。
#lucida_adm
awsってアクセス認証情報があって、ある間隔でアクセスが止まると無効化されるらしい。それを有効化できればアクセスできると思うだけど。
wasabi側でAPIキーを作りなおしても状況変わらないので、向こう側の問題だと思ってるんだけど。
んー。
それにしても、メディアストレージがおかしくなって、mastodon自体のサービスが止まってしまうというのも腑に落ちないんだけど。
#lucida_adm
いちお手動でsyncはできてるのでwasabiは正常だった。
sidekiqからはエラーが盛りだくさん。また、メディアのプロキシ鯖からアクセス不能なのも不思議。
とりま一部コマンドは通らないけどwasabiのせいではないことは分かった。
#lucida_adm
思い出したけど、前にyum updateかけたあとmastodonに画像投稿できなくなったことあったっけ。確かどこかのフォルダの権限がおかしくなったと思ったんだけど...
メモに残してなかった。
rc2のbunpupきたのでこれ当ててみるか。それついでmastodon gemの再設置になるので。
もしくはDBぶっ壊したかもしれない...。
#lucida_adm
SKIP_POST_DEPLOYMENT_MIGRATIONS=true RAILS_ENV=production bundle exec rails
って何やってるんだろ。rc1にあげるときにやってたけど、これでアクセス不能になってるとかないかな。
mastodonからDBアクセス不能に陥ってたのは、envのDBパスが間違っていた（更新してなかった）というヲチでした... むしろ何で今まで正常に使えてたの？www
というか、全ての元凶はここでは？w
なんだけど、今度はmigrationで失敗。次から次へとやってくるなあ...
#lucida_adm
今wasabiのサポートとやりとりしてるので（たぶんこれもおま環のせいかもしれない;;;）、あと画像が復帰できれば復旧で扱う。それまではまだこっちでやろかな。
#lucida_adm
画像きちゃあああああああ！！！
やっぱyum updateのせいみたい。/var/lib/nginxはmastodonから触るので所有者はmastodonにならないといけないんだけど、yum updateするとnginxに置き換わってアクセス不能になるんだよ。
なので、
chown -R mastodon:mastodon /var/lib/nginx
で所有者を変えないといけない。メモしてなかったなぁ。とりあえず1日くらい様子見ることにするよー
#lucida_adm
まだ一つ疑問なのは、
aws sts get-caller-identity
が失敗する。これだけ謎。こちらはたぶんawsの仕様か、wasabiがやらかしてるせいか。ここはサポセンに聞いてます。
今回の事象まとめ。
＜現象＞
3.0.1.12以降のcommitを当てるとsidekiqダッシュボードにアクセスできない。precompileに失敗する。1/26頃からmastodonサービス停止していた。（sidekiq、webの2つのサービス失敗）
＜原因＞
・去年の1月にmastodonのパスワードを変えたとき、env.productionを修正し忘れてた（ワシのせいぢゃよ。でもこれ以降いままで運用できてた理由が謎...）
・cld3ライブラリの参照がうまくできなかった（原因不明。mastodonではなくRuby側の原因？）
・yum updateをおこなったあと、nginxの実行環境の所有者が勝手に書き換わった。（CentOSの謎挙動 ぷんすこ）
＜その他＞
awsコマンドが一部実行できないものがある。wasabiサポートに問い合わせ中。
#lucida_adm
bundleを作るときにmastodonのパスワードを記憶するとかあるのかなって。んー謎。
ぬか喜びが嫌なので、復活きちゃあああああああああああああ！！！！！！とは言わないぞ。
いちおmastodon復旧できた。sidekiqのダッシュボードもひらけたので、パス誤りもあったみたいだね。
なんだけど、相変わらず画像の送受信はできない。
ぴえん
#lucida_adm