Falcon3-10B-Instruct-1.58bitはこんな感じ。まあ、想像通り、使い物になるレベルではない。
今、4bit量子化モデルを落としてきてるので、それも試してからBitNetの最終評価をしようと思う。

手元のバイナリではfalcon3が動かんから落としてきたらdefenderでマルウェア検出されて消された。うざすぎる。

世の中うざすぎる

https://github.com/ggerganov/llama.cpp/issues/10768
これとは違うやつだが、b4351でもTrojan:Script/Sabsik.FL.A!mlというのが検出される。

また、ソースからビルドですかね…めんどくさいんだが

https://github.com/ggerganov/llama.cpp/pull/10876
llama.cppのfalcon3サポート、バグがあったらしくて、差し戻されとる…なんてことだ。

萎えたので、すべてを忘れて、何もかもなかったことにしよう…

ここまでやったんだし、結局b4350をダウンロードして試した。

BitNet版と同じ、「あなたは優れた日本人アシスタントです。」というシステムプロンプトでFalcon3-10B-Instruct-q4_k_m.ggufを実行した結果はこう。まあ、そういうことだな…。

確かにFalcon3は日本語は得意ではない感じではあるが、それでもBitNet版との出力とは比較にならないね。

まあ…llama.cpp serverがモダンなUIに変わったことが知れたのは良かった。

あと、llama.cppのfalcon3サポートのバグが治れば、推論の品質が改善される可能性はワンチャンあるので、そのときは改めて確認するとしよう。
とはいえ、BitNet版で劇的に性能が改善されるとも思えないが。

llama.cppのバイナリがdefenderでマルウェア検出される問題は、zipにのみ反応して、解凍すると検出しなくなることを確認したので、誤検出と判断することにしました。

https://huggingface.co/tiiuae/Falcon3-10B-Instruct-1.58bit
さて、改めてFalcon3-10B-Instruct-1.58bit（BitNet）のモデルカードを読んでたんだが、量子化には例のHFブログで上がってた方法（フルスクラッチ学習じゃなくてファインチューニング）を使ってるみたいだった。これね。
https://huggingface.co/blog/1_58_llm_extreme_quantization

この方法、llama3 8Bモデルで実験されたものが、既に公開されてるんだけど、性能は全然だった。BitNet、少なくとも既存モデルのファインチューニングではダメなのは確実だと思う。

Microsoftはいい加減に、フルスクラッチでちゃんと性能出てるBitNetモデルを公開すべき。

ちょっとBitNetのリポジトリを今更見てたんだけど、llama.cppのフォーク版が使われてるのは知ってたが、リポジトリのリンク先がMicrosoftではなくてEddie-Wang1120氏のもので、誰？となった。所属が北京大学となってるので、Microsoftの社員じゃなさそうなんよね。

ああ、BitNet論文のファーストオーサーのJinheng Wang氏か。
この研究、Microsoft Research Asiaと北京大学の共同研究だったのね。

これ以上何か言ってもアレだけど、Microsoftさんは色々何とかした方がいいんじゃないか