新しいものを表示

x.com/model3yokohama/status/18
(私は自動車免許持ってないからハズしてる可能性もあるが)
これ過失はゼロかもしれないけど、減速するタイミングがかなり遅い気はする。先方で渋滞が目視できる状態では、徐々に減速せずいきなり減速したら、追突されるだろう…と人間なら考えるシーンだよね。

自動運転って他の自動車が全部自動運転なら、安全だと思うんだけど、他の自動車は人間が運転してる状況だと逆に危険なんじゃないかとずっと思ってる。

運転するときは周りの運転手はみんな気が狂ってると思え、みたいな教えがあるらしいけど、機械に人間の狂気が理解できる日は来るのか。

o1の言ってることはもう(俺には)理解できない、だからこいつは人類を超越した知能を持ってる存在だ!とかいうの、ほんとキツい。別に普通の人が言うのはいいと思うんだけどね…

スレッドを表示

最近は、死者の出た事故、事件、災害をバラエティ番組で消費するまで1年を切るようになったのか。スピード感あるな。(なんか見た)

LLMに会話っぽいことが出来るのは、会話文を学習したからだし、ステップ思考ぽいことが出来るのも、そういう文章を学習したからだ。そんなことはAI研究者、技術者には百も承知なのに、だからAIは思考しているのだ、みたいなことを言うのは本当にやめて欲しいんよな。

スレッドを表示

むしろ、現行の生成AIがもしAGI/ASIに到達したら、人間の知能って学習したデータを再現することだったんだ…と理解することになると思う。

私はそうはならんとは思ってるけど、もしそうなったら、そのときはとてもガッカリするだろうな。人間の知能って、そんな薄っぺらいもんだったんかってw

スレッドを表示

人工知能どころか、天然知能、つまり人間の知能だって、脳神経活動と意識や思考の具体的な関連とか、まだよく分かってないのだし、AI研究者の専門外だから仕方ない、というのは確かにあると思う。AI性能の客観的評価には、試験問題を解かせるみたいなベンチマークくらいしか無いのも分かる。

でも、試験勉強いっぱいさせたら試験でいい点取れるようになったという現象の、どこに科学があるんだと。こういう勉強をさせたらこういう問題ができるようになった、で終わらせずに、この問題が解けるようになったのは何故か?を考えるのが科学じゃないの?

生成AIは「覚えたことを再現しているだけ」ではなく、思考しているから問題を解けるのだ、という主張をするには、「何故、思考できるのか」に解を与える必要があると思う。なんせ、機械学習、ニューラルネットワーク、transformerとかの仕組みだけでは説明が付かないので。

生成AIが思考っぽいことができているように見える理由に解が与えられてない以上、今後、LLMに学習データをいくら喰わせても、学習データを超える出力が得られる見込みは無いんじゃないのか?どうしてAGI/ASIの登場を信じられるのか?
…というようなことを日々考えている。

スレッドを表示

生成AIは人類の叡智の結晶だと思ってるし、純然たるサイエンスだと思ってるんだけど、AIとしての能力評価になると途端に非科学的になるのなんなん、ってずっと思ってる。

別に一般人とかAI情報商材の人が、これはAGIだ人類は滅亡する、とか言っても別にいいと思うんだけど、AI研究者すら似たようなことを言ってるので頭が痛い。

これ以上何か言ってもアレだけど、Microsoftさんは色々何とかした方がいいんじゃないか

スレッドを表示

ああ、BitNet論文のファーストオーサーのJinheng Wang氏か。
この研究、Microsoft Research Asiaと北京大学の共同研究だったのね。

スレッドを表示

ちょっとBitNetのリポジトリを今更見てたんだけど、llama.cppのフォーク版が使われてるのは知ってたが、リポジトリのリンク先がMicrosoftではなくてEddie-Wang1120氏のもので、誰?となった。所属が北京大学となってるので、Microsoftの社員じゃなさそうなんよね。

スレッドを表示

huggingface.co/tiiuae/Falcon3-
さて、改めてFalcon3-10B-Instruct-1.58bit(BitNet)のモデルカードを読んでたんだが、量子化には例のHFブログで上がってた方法(フルスクラッチ学習じゃなくてファインチューニング)を使ってるみたいだった。これね。
huggingface.co/blog/1_58_llm_e

この方法、llama3 8Bモデルで実験されたものが、既に公開されてるんだけど、性能は全然だった。BitNet、少なくとも既存モデルのファインチューニングではダメなのは確実だと思う。

Microsoftはいい加減に、フルスクラッチでちゃんと性能出てるBitNetモデルを公開すべき。

スレッドを表示

llama.cppのバイナリがdefenderでマルウェア検出される問題は、zipにのみ反応して、解凍すると検出しなくなることを確認したので、誤検出と判断することにしました。

スレッドを表示

あと、llama.cppのfalcon3サポートのバグが治れば、推論の品質が改善される可能性はワンチャンあるので、そのときは改めて確認するとしよう。
とはいえ、BitNet版で劇的に性能が改善されるとも思えないが。

スレッドを表示

まあ…llama.cpp serverがモダンなUIに変わったことが知れたのは良かった。

スレッドを表示

ここまでやったんだし、結局b4350をダウンロードして試した。

BitNet版と同じ、「あなたは優れた日本人アシスタントです。」というシステムプロンプトでFalcon3-10B-Instruct-q4_k_m.ggufを実行した結果はこう。まあ、そういうことだな…。

確かにFalcon3は日本語は得意ではない感じではあるが、それでもBitNet版との出力とは比較にならないね。

スレッドを表示

萎えたので、すべてを忘れて、何もかもなかったことにしよう…

スレッドを表示

また、ソースからビルドですかね…めんどくさいんだが

スレッドを表示
古いものを表示
Fedibird

様々な目的に使える、日本の汎用マストドンサーバーです。安定した利用環境と、多数の独自機能を提供しています。