https://x.com/naotous/status/1854709816893358381
LLMが難しい試験問題を解けるというのは、LLMの能力を示すベンチマークの点数が良いということを意味するが、実用的な意味は別にないんだよな。

試験というのは、被験者に能力があるかどうかの確認作業であって、それが解けること自体に嬉しさはない。カンペ持ち込んで試験受けたら通った、という話になんの意味もないことは明らかだけど、カンペをLLMに置き換えたら分かると思う。