今まで言ってきた問題点の全部をクリアしても、結局はAI出力が正しい保証は何もないし、ソースではその結論を導くためにどういう主張や議論を行っているのか、というのをユーザー自身がソースを直接読んで確認しなければならない。
…あれ、じゃあ「AIによる概要」は何の意味があるんだ？

まあRAGなんてどうせ使い物にならんのでやめましょう、と私は思う。Google含めて、巷ではRAGに幻想持ちすぎなんよ。

Web検索は、クエリーに合致するWebページをリストアップするという機能だけを愚直に提供すればいい。そこから必要な内容を探しだすというのは、LLM如きには荷が重い作業なので、素直に人間に任せるべき。

だいたい「Web検索」ってのは、指定のクエリにヒットした、全部のページをチェックするところから始まるもんだよ。

そのページに自分が求める情報があるのか、その情報は正しいのか、という検証。検証の過程でサブクエリを発行することも多々あるし。

Google検索でヒットした最初の数候補だけ見てれば答がみつかるような、単純な検索ばかりならいいけど、実際はそうじゃないからな。

「AIによる概要」というか一般にRAGというのは、「検索でヒットした最初の数候補の要約（間違いだらけ）」でしかなく、こんなのが役に立つわけがない。

思えばBing Chatの時点で、既にWeb検索のRAGは使い物にならない、というのを皆把握してたと思うんだが、それはLLMの性能が低いから（いうてGPT-4だったけどな？）とか、ソースが（Googleではなく）Bingのインデックスだからとか、そういう解釈をした人が多く、RAGの手法そのものに実用性がないと判断した人があまり居なかったということなんだろうか。

個人的には、まさかGoogleが追従するとは思ってなかった。要約を表示しちゃったら、ソース見にいく人がその分減るから、広告ビジネスと相反するからやらんだろうと思っていたけど、それ以前に、使い物にならない機能をわざわざ追加せんやろ、と思っていた。

今となっては、GoogleはAI便利ですぞ、と言い続けないとAI商売が成立しないから、なんとか使えそうな部分に組み込む必要があり、それが「AIによる概要」なんだろうなあ。なんせ他のAIは、もっと実用性ないしな…

ああ、Google製のAIでも、音声認識と翻訳は役に立つな。しかしこれらの技術は昨今の生成AIブーム以前からの、いわば枯れたAIに属するものだし、分けて考えていいと思う。

@mutaguchi なるほど、効率を重視するあまり、いわゆる「精度」について妥協することを、強要される時代が迫っているわけですね。