Xichuan @xichuan@fedibird.com

進行期の予算を策定するときに、原価の AWS コストの予測は実質的に為替の予測だったので、いくつかシナリオを想定したが概ね予測通りに推移しているのでこんなもんじゃないかな。

個人的には AWS コストが下がるんで助かります。

N225 (日経225) はたったいま底を打った。新 NISA 制度で新しく株式投資、投資信託にエントリーしてきた層がパニックになって売った感じかなあ。円高が進むのは織り込み済みだし、NASDAQ も Dow Jones も底を打って VIX (投資家恐怖指数) も下がった。 SPGNRUP (資源価格指数) も底を打った。今がお買い得ではないかしら。

ウィトゲンシュタインのいうところの言語ゲームがその背景にあって、要は会話が続いて欲しい、ないし、会話で満足してもらいたい。

ChatGPT (GPT-3.5) の前に InstructionGPT (GPT-3.0) があって、これは流行らなかった。このあと OpenAI がやったことは RLHF を大量にぶちこんでいかに人間の機嫌を取るか、ということに専心した。これが重要で、これは研究開発というより PMF なので、ここを間違えてはいけない。

学術的には GPT-2 の論文が重要で、適切な訓練を行えば巧妙な言語的モノマネ装置ができるということがわかった。これがわかったらあとはどう訓練するか、という問題だけだった。

逆に言えば LLM は単に言語モデルの一実装形態に過ぎないので、論理的推論とかまったくしてない。言語モデルの性質上、入力に対してそれっぽい出力を返却しているだけだ。

そもそもまず言語モデルという抽象的な概念があって、それをどのように実装するか、という観点から、長く n-gram が使われていたのが RNN -> LSTM -> Encoder-Decoder -> Transfomer となって Transformer を多量に重ねて今の LLM の素系ができた。今後、言語モデルのまったく別の実装方式が発明されることは当然だ。

LLM 同士で訓練したら低質なフィードバックになるなんてことは大昔からわかっていたことで、 OpenAI が ChatGPT リリース前にオーストラリアの安い英語母語話者に大量の feedback を入力させたことなんてよく知られているが。

これなんか揺れてないか？

うーん？

久々に『銀座ライオン』で飲んだが昔と比べてめちゃくちゃ高いよな。

ちなみに『Fire Emblem 風花雪月』は『Fire Emblem 三国志』のフリをして内実は『Fire Emblem 明治維新』だったので、油断がならないんだよな。トゥルールートと言っていいルートの主人公が最後に「日本の夜明けぜよ」みたいなことを言うので、なんだよ、これ、明治維新じゃん、ってなるのだ。

帰宅大成功だあ！！！！！

@xichuan 1959年7月の廬山会議での彭徳懐失脚を阻止せねばならず、そのためには1959年5月の彭徳懐の訪ソの影響を制御した上でそもそも中ソ関係の悪化を防ぐ必要があった。

@xichuan 『Fire Emblem 国共内戦』とか、国共内戦のところは適当に翻案してもらって、そういうゲームを密かに中国市場に侵入させられないかな、

@xichuan おそらくだが第一次台湾海峡危機をうまく回避できるかが論点で、大躍進政策発動後に打てる手は少ない。

@xichuan ALL YOU NEED IS KILL みたいに、劉少奇が中国経済の立て直しや文化大革命の発生を防ぐべく無限に時空を繰り返していると想像するとマジで陰惨なゲームになる。

@xichuan 初手でまず速やかに張承志を暗殺、林彪も失脚させてとにかく紅衛兵の発生を防ぐとともに中ソ関係を回復させて外患を除去、輸出入を立て直して国内の食糧事情を回復させる。難しすぎるぜ。しかも相手は毛沢東なんだよな。