AIの作文を直す仕事何回かやったことあるんだけど、あの息をするように嘘を言うパターンね、あると知っていて疑ってかかっててもあまりにも痕跡のないところから嘘を言うからびっくりするんだよね…
人間が間違うときって例えば「近くに似た名前のものがあった」みたいなのを想像するんですよね、というか人間の思考ってそういうもので、意識的にせよ無意識的にせよ過去の人生の文脈から出てくるもんなので、自然言語の文を出力されるとある程度人間と同様に「たどり返せる」と思ってしまうんですよ。機械にとっての過去の文脈はネット上のどっかにあるはずと思ってしまう。
ところがLLM系の作文は実は過去の文脈は無関係で「その単語に続きそうな単語」を選んでいるだけなので、どこかで存在しないものを選ぶ可能性はあり、一度選び間違えると無限に間違い続けるんですよ。つまり隣り合う概念の並び自体が違っている。これは理屈としては分かっても、感覚として理解しにくい。