ChatGPT って、こいつが自分で「考えた」ことに関してはけっこう信頼できると思うんだけど、現実との整合性をチェックして補正するというのはまだあんまりで、なんか「数年間インターネット見まくって研修した後、本番としてネット禁止された状態で自分の記憶だけを頼りにヘルプセンターの模擬試験をやってる実習生」みたいな回答をしてるなと思う(そろそろ現実のインターネットをリアルタイムに参照する機能が実用されはじめているみたいだけど、どうなんだろう)
@zeeksphere ChatGPTそのものではありませんが、RAG (retrieval augmented generation) でこちらがウェブ検索してこちらがその結果を追加で貼り付けてあげると似たようなことができるものの、こんどは生成されるテキストが付け焼刃な感じになりがち(そこに書いてあることを言い換えただけのようなテキストになりがち)でした。外部情報源が言っていることを批判的に見てまとめさせるにはまた別のなにかが必要なようです。
たとえば「挙げてくれた記事のURLも一緒に書いて」と指示すると実在しないものを書くんだけど、人間もたぶんネット禁止された状態で記憶だけを頼りに答えざるを得ない(しかし可能な限りお前の能力が本番に耐えうることを示せと言われている)場合はこういう回答をするよなと思う。
少なくともURLとしてありそうなURLを書いてる。人間でも実際にURLにアクセスしてその記事でまちがいないことをチェックしなおさないと無理で、「外部記憶を頼りにして、外部記憶に投げる」という別の能力を鍛えないといけない。