ChatGPT (GPT-3.5) の前に InstructionGPT (GPT-3.0) があって、これは流行らなかった。このあと OpenAI がやったことは RLHF を大量にぶちこんでいかに人間の機嫌を取るか、ということに専心した。これが重要で、これは研究開発というより PMF なので、ここを間違えてはいけない。