大規模言語モデルを作る、拡張する - Speaker Deckhttps://speakerdeck.com/stillpedant/da-gui-mo-yan-yu-moderuwozuo-ru-kuo-zhang-suru
とてもわかりやすい資料。リソースがあれば自分でやってみたい。
大規模言語モデルの作りかたを 1. 事前学習 (Pre-Training) 2. 事後学習 (Post-Training) 3. モデル選定・評価 (Model Selection / Evaluation) に分けてご紹介します。 https://dbsj.org/dbsj_lecture/ でのトーク内容です。
オープンなモデルもいろいろ出てきているけど、せめてChatGPT-3.5くらいには日本語で処理できるものがほしい。今のところ Karakuri LM が優れた性能を見せてくれるものの、手元で動かすには大きすぎる。
様々な目的に使える、日本の汎用マストドンサーバーです。安定した利用環境と、多数の独自機能を提供しています。
オープンなモデルもいろいろ出てきているけど、せめてChatGPT-3.5くらいには日本語で処理できるものがほしい。今のところ Karakuri LM が優れた性能を見せてくれるものの、手元で動かすには大きすぎる。