複数の文があって、そこからそのどれでもない文を生成する機械がある場合に、その生成された文の記載が正しいためには、まず、入力の文に真理値がメタデータとして設定されているか、あるいは真の文だけ入力することが必要なはず。その段階で、言語モデルベースのAIは、前提を満たさない。だから、なぜ嘘をつくんだろうではなく、ここはむしろ、なぜ割と正しいことも言うのか、と問うべきところだろう。
フォロー
まあこれは知識推論AIにこそ当てはまる話で、生成過程のロジックがかなりブラックボックスな学習AIではまた観点がかなり変わるかもしれないけど、それこそブラックボックス式入力と出力に着目したらそういうはなしになると思う。
だから必然、生成物や元データにたいして、人間による真偽のタグ付けが必要になるけれども、これは原理的に、可能な出力にたいして不十分なので、つねに、「入力データおよび言語規則からは妥当だが現実と一致しない言明」が生成される。要は人間は嘘を意図しなければ信じていることだけを出力する。そしてこの自分が信じていることだけを出力するフィルターを実装するには、「この内容はあなたは本当だと思いますか」という判断ができなければならない（客観的に正しい必要はない）。でも、文を与えて、その文が、自分の知識、信念と一致してるか判定させるの、凄く難しそう。
つまり言語入力だけからだと整合性チェックはある程度出来るけど、その整合的な複数の言明からなるセットが現実に当てはまるかは判定できない。そしてその整合性チェックだって、語の「指示的な意味＝知識」から完全に独立ではない。人間の真偽判定が相互に良く一致するのは、五感による入力が基盤として存在するからですね。