https://type.jp/et/feature/27114/
AI研究者の中では、BitNetはまともな（議論の俎上に上げられるような）技術なんだな。個人的には、BitNetは基礎理論の域を出てなくて、実用化は可能性すら見えない技術だから意外だった。（まともに使えるモデルが現存しないことをもって、素人がこう断言しても別にかまわんだろう）
推論時間スケーリングもOpenAIの主張を鵜呑みにはできないと思っている。いうて、ただのCoTファインチューニングでLLMの性能が上がったと言ってるだけの段階だと思ってるんで…。
そして、o1が使われない理由は高性能過ぎるからじゃなくて、時間がかかるだけで、いうほど性能が無いからではないのかなぁ。試験問題で高得点が取れるAIなんて別に役には立たないので。
GPT-4oが一般人がありがたみを感じる最終ラインだ、というのは、一般人の私からも同意。仮にこれがローカルで動けばもうそれで十分、って感じ。それ以上の性能はそもそもLLMには期待できないしね。
OpenAIのAI研究の最終ゴールがASIだというのは、まあそう言ってるからそうかもしれないけど、最近はそのトーンもだいぶ落ち着いてきてはいるよね。
一般人はGPT-4oで満足できるということは、ASIに別に需要はないということになるが、いつまで金をかけて研究が続けられるんだろうか。無理そうと感じているから、トーンダウンしてるんじゃないかとも思う。
国内にGPUが少ないというのはそうだけど、その少ないGPUも結局アメリカ産なので、多くても少なくても一緒じゃね、と思う。ASIの夢を追うような研究をするのでなければ、国内にあるGPUで何とかできるんじゃないかと思うし、足りない分はレンタル（クラウド）で良くないか。
一方で、国がこの程度しかAIに対して金をかけないなら、例え成果が得られなくても傷は浅くて済むし、現状でいいのかもなぁ、なんて思ってもいる。
一般人が満足できるGPT-4oレベルのAI開発は、別に無理してしなくても良くて、GPT-4oを使えばいい。
開発コストと利用コストを天秤にかけて、自国開発の方が絶対にトクだ、というならすればいいけど、現状見てるとそんな感じはしないからなぁ。
それでもやるというなら、フルスクラッチモデルじゃなくて、既存のオープン系LLMに、日本語データセットで事前継続学習させたモデルに注力したほうが良い。それもいろんな企業、団体にやらせるんじゃなくてね。
少ない予算を分配してまで、LLM、とくにbaseモデルを色々な団体に競争させるように作らせるのは、本当に無駄でしかないよ。どうせ、学習させる日本語データセットは、Common Crawlから抽出した日本語ドキュメントとかなわけで、どれもだいたい同じ、あとはせいぜい学習のパラメータがちょっと違う程度。
つよつよbaseモデル1個できればそれでいいのに
個人的には、少ないGPU資源、少ない予算を、もっと一極集中させて少しでも効率化図った方が良いんじゃないか、ってのを強く思う。
高パラメータの日本語LLMをあちこちの企業や団体で同時多発的に作って何かいいことあるんか？
（国の支援金を使って、なぜか外部の人にLLM作らせて、学習ミスって?億円の損失出した例とか見てると、あんまり心が穏やかになれない…）