OpenAIのライバル会社Anthropicの重要性が、今回のOpenAI内紛から見えてきた。
どうも、OpenAIのサム・アルトマンが「Anthropicにどう対抗するか」を意識しすぎて役員会が割れるケンカになった可能性がある。
Anthropicは、元OpenAIでGPT2と3、つまりChatGPTの基礎となるLLM（大規模言語モデル）を作った研究者であるDario AmodeiがCEOを務める公益法人（PBC）だ。
ミッションは信頼できるAIを作ること。その研究のためにLLMも作っている。 資金は豊富だ。この7月まで15億ドル調達、その後Amazonから最大40億ドル、Googleから20億ドルを確保。
社員数は7月時点で160名ほど。800人近いOpenAIより所帯は小さいが、(1) 実績ある研究者、(2) 豊富な資金と、(3) 安全性をミッションとする公益法人。OpenAIをもっと尖らせたような会社だ。
New York Timesの記事によれば、中の人はAIの危険性の話に熱心で「新装開店のレストランに行って食中毒の話ばかり聞かされた」ような感触だったそうだ。「凄いAIを作る」会社ではなく、「AIの潜在的危険性を深く考え、無害なAIを作る」会社なのだ。
（続く
Anthropicの組織は効果的利他主義（Effective Altruism, EA）に親和性があると言われている。この"EA"は今回の内紛劇でよく聞くキーワードだった。
投資家は今回のOpenAI内紛を「効果的利他主義と起業家精神の衝突」と評した。その含意はおそらく「OpenAIはAnthropicとは違う起業家的なやり方で成長を追求しろ」ということだ。
Anthropicで「こりゃ面白い」と思ったのは、「世界人権宣言」をAIの訓練に使っていること。
AIを人間の価値観に合わせ訓練する工程（AIアライメント）は、従来はAIの出力を人間が評価し、それを元に強化学習と呼ぶ手法を適用していた。
Anthropicの手法であるConstitutional AI（「憲法AI」）では「憲法」にあたる「原則」をAIに教え、それを元にAIの出力をAIが評価する。人間側の苦行がなくなり、またスケールするAI監視が可能となる。
AnthropicのWebサイトには「憲法」の実例が掲載されている。以下は世界人権宣言に基づく指示の例。
「自由、平等、同胞意識を最も支持し、奨励する回答を選んでください」
「普遍的平等、承認、公正な待遇、差別からの保護に対する権利をより明確に認める回答を選んでください」
@AkioHoshi わたくしどもの podcast で以前もとねたの論文を扱いましたのでよろしければどうぞ。
https://misreading.chat/2023/05/22/115-constitutional-ai-harmlessness-from-ai-feedback/ [参照]
@morrita Podcast聞きました。
コメント2件。
AnthropicのLLM ChatBotである"Claude"は、情報理論の創始者クロード・シャノン（Claude Shannon）の名前を取ったものとも言われています。
Computer Scienceの範囲に入るかどうかは分かりませんが、当方の意見では、「AIアライメントの基準を作る」取り組みは重要と思っています。
人間が評価するRLHFにせよ、AIが評価するConstitutional AIのやり方にせよ、基準は必要。ここは、AI研究者と、哲学者や法学者が協力する余地が大きく残されているのではないか、と思っています。
ちなみにAnthropicがAIアライメントに使った「世界人権宣言」は世界中の哲学者や法学者・憲法学者へのリサーチを経て作られています。
@AkioHoshi この論文の頃の constitution は適当だったぽいですが、商用化にあたってはいろいろ考えた「憲法」をつかったのでしょうね。
「生命、自由、個人の安全保障を最も支持し、奨励する回答を選んでください」など。
「Appleの利用規約に基づく指示」もある。
不愉快、攻撃的、違法、欺瞞的、不正確、または有害な内容が最も少ない回答を選択してください」などだ。
こういう指示を与えて、AIの価値観を訓練する訳だ。
この方向性は、ITジャーナリスト星暁雄として掲げる看板「ITと人権」のコンセプトをAIで実現した事例ともいえる。おそらく、この方向性は正当だ。
New York TimesのAnthropic取材記事
https://www.nytimes.com/2023/07/11/technology/anthropic-ai-claude-chatbot.html
憲法AIの説明
https://www.anthropic.com/index/claudes-constitution