フォロー

そもそもまず言語モデルという抽象的な概念があって、それをどのように実装するか、という観点から、長く n-gram が使われていたのが RNN -> LSTM -> Encoder-Decoder -> Transfomer となって Transformer を多量に重ねて今の LLM の素系ができた。今後、言語モデルのまったく別の実装方式が発明されることは当然だ。

ログインして会話に参加
Fedibird

様々な目的に使える、日本の汎用マストドンサーバーです。安定した利用環境と、多数の独自機能を提供しています。