LLM 同士で訓練したら低質なフィードバックになるなんてことは大昔からわかっていたことで、 OpenAI が ChatGPT リリース前にオーストラリアの安い英語母語話者に大量の feedback を入力させたことなんてよく知られているが。