bundleからインストールしなおしてるのでサービス止まってます。たぶん30分くらい停止予定です。緊急になってしまって申し訳ないです。
#mynoghra_info #lucida_adm
暇なのでRubyをバージョンダウンしたらmastodonサービスが起動しなくなった...
というか、gemをv2.7で作ったせいもあるのかもね。ということで、インストールをやり直してる。🙄
#lucida_adm
ひょっとしてRubyのバージョンをあげすぎてるのかな。v2.7.0になって型チェックが厳しくなったという雰囲気あるし。
#lucida_adm
sidekiqのダッシュボード見ると、LinkCrawlWorkerのエラーが多発してるんだけど、気になるなぁ。
#lucida_adm
今回の事象まとめ。
＜現象＞
3.0.1.12以降のcommitを当てるとsidekiqダッシュボードにアクセスできない。precompileに失敗する。1/26頃からmastodonサービス停止していた。（sidekiq、webの2つのサービス失敗）
＜原因＞
・去年の1月にmastodonのパスワードを変えたとき、env.productionを修正し忘れてた（ワシのせいぢゃよ。でもこれ以降いままで運用できてた理由が謎...）
・cld3ライブラリの参照がうまくできなかった（原因不明。mastodonではなくRuby側の原因？）
・yum updateをおこなったあと、nginxの実行環境の所有者が勝手に書き換わった。（CentOSの謎挙動 ぷんすこ）
＜その他＞
awsコマンドが一部実行できないものがある。wasabiサポートに問い合わせ中。
#lucida_adm
これってcld3戻すことできないかな。ただ、のえるさん曰く、翻訳絡みのライブラリっぽいからあんま関係ないんだよね...。
#lucida_adm
画像きちゃあああああああ！！！
やっぱyum updateのせいみたい。/var/lib/nginxはmastodonから触るので所有者はmastodonにならないといけないんだけど、yum updateするとnginxに置き換わってアクセス不能になるんだよ。
なので、
chown -R mastodon:mastodon /var/lib/nginx
で所有者を変えないといけない。メモしてなかったなぁ。とりあえず1日くらい様子見ることにするよー
#lucida_adm
今wasabiのサポートとやりとりしてるので（たぶんこれもおま環のせいかもしれない;;;）、あと画像が復帰できれば復旧で扱う。それまではまだこっちでやろかな。
#lucida_adm
ぬか喜びが嫌なので、復活きちゃあああああああああああああ！！！！！！とは言わないぞ。
いちおmastodon復旧できた。sidekiqのダッシュボードもひらけたので、パス誤りもあったみたいだね。
なんだけど、相変わらず画像の送受信はできない。
ぴえん
mastodonからDBアクセス不能に陥ってたのは、envのDBパスが間違っていた（更新してなかった）というヲチでした... むしろ何で今まで正常に使えてたの？www
というか、全ての元凶はここでは？w
なんだけど、今度はmigrationで失敗。次から次へとやってくるなあ...
#lucida_adm
rc2のbunpupきたのでこれ当ててみるか。それついでmastodon gemの再設置になるので。
もしくはDBぶっ壊したかもしれない...。
#lucida_adm
いちお手動でsyncはできてるのでwasabiは正常だった。
sidekiqからはエラーが盛りだくさん。また、メディアのプロキシ鯖からアクセス不能なのも不思議。
とりま一部コマンドは通らないけどwasabiのせいではないことは分かった。
#lucida_adm
awsってアクセス認証情報があって、ある間隔でアクセスが止まると無効化されるらしい。それを有効化できればアクセスできると思うだけど。
wasabi側でAPIキーを作りなおしても状況変わらないので、向こう側の問題だと思ってるんだけど。
んー。
それにしても、メディアストレージがおかしくなって、mastodon自体のサービスが止まってしまうというのも腑に落ちないんだけど。
#lucida_adm
いちお1枚目がwasabi側の画像、2枚目がプロクシ鯖（至るwasabiストレージ）のアクセス結果。
たぶんこれはサーバがおかしくなる前の画像。以降はバケツに対しても転送されてないくさい。
いちおなー、aws clientからのアクセスが失敗してるので、mastodonのせいではないと思うんだけど。
#lucida_adm
なにやってもダメだ...。wasabi側の不具合もあるので、サポートにお手紙送りました。
#lucida_adm
あともう1つは、aws configueでキーを設定しても、aws sts get-caller-identityを実行すると、
An error occurred (InvalidClientTokenId) when calling the CreateRole operation: The security token included in the request is invalid
で拒否られること。webで調べてみたけど、aws configueで設定できるのに拒否られる理由が見当たらなかった。
#lucida_adm
おかしくなる前にやったこと。
前提：wasabiにアクセスできない（プロクシ鯖→wasabi）
1. awsclientを入れなおし
2.aws configでキーを入れた（root、mastodonユーザともども）
3.mastodonサービス再起動
4.mastodonのActivePubにアクセスできなくなった
