で、以上のようなRAGの問題点、すなわち、検索結果にそもそも解答が含まれていない。しかしLLMは解答が含まれていないことを理解できず、間違った回答を出力してしまうという現象、頑張って何とかなったとする。

それでもまだ問題点は残る。「正しい解答が含まれるソースを正しく解釈して、正しい回答としてユーザーに提示する」が、現状の「AIによる概要」では精度高く行えてないので。せっかくソースは正しいのに、出力が間違っているパターンが多すぎる。

今まで言ってきた問題点の全部をクリアしても、結局はAI出力が正しい保証は何もないし、ソースではその結論を導くためにどういう主張や議論を行っているのか、というのをユーザー自身がソースを直接読んで確認しなければならない。
…あれ、じゃあ「AIによる概要」は何の意味があるんだ？

まあRAGなんてどうせ使い物にならんのでやめましょう、と私は思う。Google含めて、巷ではRAGに幻想持ちすぎなんよ。

Web検索は、クエリーに合致するWebページをリストアップするという機能だけを愚直に提供すればいい。そこから必要な内容を探しだすというのは、LLM如きには荷が重い作業なので、素直に人間に任せるべき。

だいたい「Web検索」ってのは、指定のクエリにヒットした、全部のページをチェックするところから始まるもんだよ。

そのページに自分が求める情報があるのか、その情報は正しいのか、という検証。検証の過程でサブクエリを発行することも多々あるし。

Google検索でヒットした最初の数候補だけ見てれば答がみつかるような、単純な検索ばかりならいいけど、実際はそうじゃないからな。

「AIによる概要」というか一般にRAGというのは、「検索でヒットした最初の数候補の要約（間違いだらけ）」でしかなく、こんなのが役に立つわけがない。

思えばBing Chatの時点で、既にWeb検索のRAGは使い物にならない、というのを皆把握してたと思うんだが、それはLLMの性能が低いから（いうてGPT-4だったけどな？）とか、ソースが（Googleではなく）Bingのインデックスだからとか、そういう解釈をした人が多く、RAGの手法そのものに実用性がないと判断した人があまり居なかったということなんだろうか。

個人的には、まさかGoogleが追従するとは思ってなかった。要約を表示しちゃったら、ソース見にいく人がその分減るから、広告ビジネスと相反するからやらんだろうと思っていたけど、それ以前に、使い物にならない機能をわざわざ追加せんやろ、と思っていた。

今となっては、GoogleはAI便利ですぞ、と言い続けないとAI商売が成立しないから、なんとか使えそうな部分に組み込む必要があり、それが「AIによる概要」なんだろうなあ。なんせ他のAIは、もっと実用性ないしな…

ああ、Google製のAIでも、音声認識と翻訳は役に立つな。しかしこれらの技術は昨今の生成AIブーム以前からの、いわば枯れたAIに属するものだし、分けて考えていいと思う。

@mutaguchi なるほど、効率を重視するあまり、いわゆる「精度」について妥協することを、強要される時代が迫っているわけですね。