LLM、原理的に、思考ができるものとは思ってない。
いくらニューラルネットワークが人間の思考をモデルにしてる、アテンション機構が人間の認識能力をモデルにしてる、と言われても、人間が本当にそのモデルに従って思考してるかは、何も証明されてないわけだしな。
oシリーズがやってるChain of Thoughtも、「連鎖的思考をしている文章」を生成する手法で、やってることとしてはLLMそのもの。
学習時には「問題文→連鎖的思考をしている文章→回答文」をたくさん学習させる。
生成時には「問題文」をプロンプトとして与え、後続トークンとしてもっとも確率が高い並び方、すなわち「→連鎖的思考をしている文章→回答文」が推論されるので、ここから「回答文」部分を抜き出しているだけ。
