これはまた、事実なら世界が引っくり返りそうな……
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も – WirelessWire Newshttps://wirelesswire.jp/2024/02/86094/
2月は中国では春節というお正月があり、春節にはみんな休む。 それもあってか、12月から1月にかけて怒涛の論文発表が行われて毎日「デイリーAIニュース」を配信している筆者は忙殺されていた。 春節中にはOpenAIがSora […]
驚異の1ビットLLMを試す。果たして本当に学習できるのか?|shi3zhttps://note.com/shi3zblog/n/n58b0a2252727
にわかには信じがたい。nvidiaが早くも凋落しそう?
昨日話題になった「BitNet」という1ビットで推論するLLMがどうしても試したくなったので早速試してみた。 BitNetというのは、1ビット(-1,0,1の三状態を持つ)まで情報を削ぎ落とすことで高速に推論するというアルゴリズム。だから正確には0か1かではなく、-1か0か1ということ。 この手法の行き着くところは、GPUが不要になり新しいハードウェアが出現する世界であると予言されている。マジかよ。…
様々な目的に使える、日本の汎用マストドンサーバーです。安定した利用環境と、多数の独自機能を提供しています。
驚異の1ビットLLMを試す。果たして本当に学習できるのか?|shi3z
https://note.com/shi3zblog/n/n58b0a2252727
にわかには信じがたい。nvidiaが早くも凋落しそう?
昨日話題になった「BitNet」という1ビットで推論するLLMがどうしても試したくなったので早速試してみた。 BitNetというのは、1ビット(-1,0,1の三状態を持つ)まで情報を削ぎ落とすことで高速に推論するというアルゴリズム。だから正確には0か1かではなく、-1か0か1ということ。 この手法の行き着くところは、GPUが不要になり新しいハードウェアが出現する世界であると予言されている。マジかよ。…
note.com