Xichuan @xichuan@fedibird.com

タイムラインが殺伐としているがこれは日曜日の夜ということもあろうがあまりにも暑すぎるということもあろう。

宇多田ヒカル、今回のツアー後に活動休止か引退するんじゃないか？ MC が完全にメンタル限界の人になっていたというか、端的に言えば死んでた。

@xichuan なんか喉の調子がめちゃくちゃ悪くて、半音下げてたし機械でなんとかしてた。

なんとかかんとかさんのライブだった。

フォーナインズはちゃんと20年前の私の各種視力データを出してくるからな。眼鏡屋はデータ屋である必要がある。

今日は銀座のフォーナインズで眼鏡を新調したが、対応してくれたお嬢さんが CASIO LF-20W を使っていて痺れてしまった。センスあるわ。さすがだわ。

https://www.casio.com/jp/watches/casio/casio-classic/lf-20w/

Close Encounters of the Third Kind #スタバ

Rendezvous with Rama #スタバ

オリンピックって、マイナー競技で、本当に化け物みたいな、人間ってこんなことできるの？みたいな人たちを見られるのがいいな。

先月は昨年をさらに更新して観測史上最高に暑い7月だったようだが、こりゃもうライフスタイルを変えるしかない。

マジで暑いよ。

どちらかというとドルを売って買われた円がどこに行くか、という話の方が重要なのだが……。

進行期の予算を策定するときに、原価の AWS コストの予測は実質的に為替の予測だったので、いくつかシナリオを想定したが概ね予測通りに推移しているのでこんなもんじゃないかな。

個人的には AWS コストが下がるんで助かります。

N225 (日経225) はたったいま底を打った。新 NISA 制度で新しく株式投資、投資信託にエントリーしてきた層がパニックになって売った感じかなあ。円高が進むのは織り込み済みだし、NASDAQ も Dow Jones も底を打って VIX (投資家恐怖指数) も下がった。 SPGNRUP (資源価格指数) も底を打った。今がお買い得ではないかしら。

ウィトゲンシュタインのいうところの言語ゲームがその背景にあって、要は会話が続いて欲しい、ないし、会話で満足してもらいたい。

ChatGPT (GPT-3.5) の前に InstructionGPT (GPT-3.0) があって、これは流行らなかった。このあと OpenAI がやったことは RLHF を大量にぶちこんでいかに人間の機嫌を取るか、ということに専心した。これが重要で、これは研究開発というより PMF なので、ここを間違えてはいけない。

学術的には GPT-2 の論文が重要で、適切な訓練を行えば巧妙な言語的モノマネ装置ができるということがわかった。これがわかったらあとはどう訓練するか、という問題だけだった。

逆に言えば LLM は単に言語モデルの一実装形態に過ぎないので、論理的推論とかまったくしてない。言語モデルの性質上、入力に対してそれっぽい出力を返却しているだけだ。

そもそもまず言語モデルという抽象的な概念があって、それをどのように実装するか、という観点から、長く n-gram が使われていたのが RNN -> LSTM -> Encoder-Decoder -> Transfomer となって Transformer を多量に重ねて今の LLM の素系ができた。今後、言語モデルのまったく別の実装方式が発明されることは当然だ。