フォロー
AIの作文を直す仕事何回かやったことあるんだけど、あの息をするように嘘を言うパターンね、あると知っていて疑ってかかっててもあまりにも痕跡のないところから嘘を言うからびっくりするんだよね…
人間が間違うときって例えば「近くに似た名前のものがあった」みたいなのを想像するんですよね、というか人間の思考ってそういうもので、意識的にせよ無意識的にせよ過去の人生の文脈から出てくるもんなので、自然言語の文を出力されるとある程度人間と同様に「たどり返せる」と思ってしまうんですよ。機械にとっての過去の文脈はネット上のどっかにあるはずと思ってしまう。
ところがLLM系の作文は実は過去の文脈は無関係で「その単語に続きそうな単語」を選んでいるだけなので、どこかで存在しないものを選ぶ可能性はあり、一度選び間違えると無限に間違い続けるんですよ。つまり隣り合う概念の並び自体が違っている。これは理屈としては分かっても、感覚として理解しにくい。
人間は嘘にしろ間違いにしろあまりにも連関のないことは言えないっていうのがある。実はそれ自体はAIも変わらない。ところがその連関なるものの概念自体が違っていて、たとえば地名を与えられると人間が持つ連関はその特定の地名（乃至は似た地名）における自分の知識や経験ということになるが、AIにとっては理論上その特定の地名に続き得る語のすべてということになるからズレてしまう。
しかも厳密に言えば人間の連関が主題ベースであるのに対してLLM系は直前単語ベースなので、たとえば人が青森に対して東北、りんご、雪…などを想起する間に、AIは青森→りんご→果樹園→先端農業技術みたいな単線連想ゲームをしているわけだ。