https://x.com/K_Ishi_AI/status/1858814221733253590
この図見ていつも思うのが、FLOPsって詐欺みたいな単位だよな、ということ。FLOPsはあくまで、機械学習に要した計算量の単位であって、コンピューターの計算性能を示すFLOPSとは全く別物。

FLOPsのグラフが右肩上がりになるのは、時代を経るとともにモデルが大型化し、より多くの計算資源を要したことを示しているだけ。この先も、より大型のモデルを作るのならば、FLOPsは右肩上がりに当然なるが、そのFLOPsを満たす計算資源が実際に提供される見込みは何もない。というかOpenAIはじめ、もうそれは無理だと分かってきたから、推論時間スケーリング則とか言ってるわけじゃないですか。

FLOPsという単位を考えたのは誰かは知らないけど、こういった混同を意図的に誘うために作った単位だとしか思えん。