https://x.com/model3yokohama/status/1869034153590878266
(私は自動車免許持ってないからハズしてる可能性もあるが)
これ過失はゼロかもしれないけど、減速するタイミングがかなり遅い気はする。先方で渋滞が目視できる状態では、徐々に減速せずいきなり減速したら、追突されるだろう…と人間なら考えるシーンだよね。
自動運転って他の自動車が全部自動運転なら、安全だと思うんだけど、他の自動車は人間が運転してる状況だと逆に危険なんじゃないかとずっと思ってる。
運転するときは周りの運転手はみんな気が狂ってると思え、みたいな教えがあるらしいけど、機械に人間の狂気が理解できる日は来るのか。
人工知能どころか、天然知能、つまり人間の知能だって、脳神経活動と意識や思考の具体的な関連とか、まだよく分かってないのだし、AI研究者の専門外だから仕方ない、というのは確かにあると思う。AI性能の客観的評価には、試験問題を解かせるみたいなベンチマークくらいしか無いのも分かる。
でも、試験勉強いっぱいさせたら試験でいい点取れるようになったという現象の、どこに科学があるんだと。こういう勉強をさせたらこういう問題ができるようになった、で終わらせずに、この問題が解けるようになったのは何故か?を考えるのが科学じゃないの?
生成AIは「覚えたことを再現しているだけ」ではなく、思考しているから問題を解けるのだ、という主張をするには、「何故、思考できるのか」に解を与える必要があると思う。なんせ、機械学習、ニューラルネットワーク、transformerとかの仕組みだけでは説明が付かないので。
生成AIが思考っぽいことができているように見える理由に解が与えられてない以上、今後、LLMに学習データをいくら喰わせても、学習データを超える出力が得られる見込みは無いんじゃないのか?どうしてAGI/ASIの登場を信じられるのか?
…というようなことを日々考えている。
生成AIは人類の叡智の結晶だと思ってるし、純然たるサイエンスだと思ってるんだけど、AIとしての能力評価になると途端に非科学的になるのなんなん、ってずっと思ってる。
別に一般人とかAI情報商材の人が、これはAGIだ人類は滅亡する、とか言っても別にいいと思うんだけど、AI研究者すら似たようなことを言ってるので頭が痛い。
https://huggingface.co/tiiuae/Falcon3-10B-Instruct-1.58bit
さて、改めてFalcon3-10B-Instruct-1.58bit(BitNet)のモデルカードを読んでたんだが、量子化には例のHFブログで上がってた方法(フルスクラッチ学習じゃなくてファインチューニング)を使ってるみたいだった。これね。
https://huggingface.co/blog/1_58_llm_extreme_quantization
この方法、llama3 8Bモデルで実験されたものが、既に公開されてるんだけど、性能は全然だった。BitNet、少なくとも既存モデルのファインチューニングではダメなのは確実だと思う。
Microsoftはいい加減に、フルスクラッチでちゃんと性能出てるBitNetモデルを公開すべき。
https://github.com/ggerganov/llama.cpp/pull/10876
llama.cppのfalcon3サポート、バグがあったらしくて、差し戻されとる…なんてことだ。
https://github.com/ggerganov/llama.cpp/issues/10768
これとは違うやつだが、b4351でもTrojan:Script/Sabsik.FL.A!mlというのが検出される。