Chat GPT、一見なんでもできるように見えるけど、そのギャップに対する認識の違いが評価の違いになってる気がする。
一目見てデタラメだとわかる応答やはっきり「できない」と答える応答もあれば、それっぽく見えるけど大嘘なこともある。逆に、従来技術には実現困難な優れた点もあれば、既存技術と大差ないこともある。
そのあたりの得手不得手のレベル差を可視化できると、もっと使いやすくなりそう。正確に性能を評価する、ということだからかなり難しいだろうけど。