Anthropicの元研究者ジェイコブ・コクソン氏は9月8日、辞任をXで明らかにしました。OpenAIとAnthropicでAIモデルの事前学習に携わり、両社は責任ある行動を取らず、自己改善型の人工超知能の開発競争で「人類の命運を賭けている」と批判しました。

さらに、AI開発者の一部は人類滅亡の可能性を本気で懸念し、「マーケティング上の演出ではない」と強調しました。

Anthropicのエバン・ヒュービンガー氏も、10年以内の人類滅亡確率を10％超と推定し、人工超知能を制御する方法が現在未確立だと認めました。

コクソン氏とヒュービンガー氏の発言で重要なのは、AIの危険性を認識する研究者自身が、安全性を十分に確保できないまま開発が進んでいると警告している点です。

ヒュービンガー氏は、AIが今後10年以内に人類を滅ぼす可能性を10％超と個人的に推定する一方、人間の能力を超える人工超知能（ASI）を人間の意図に沿って制御する方法はまだ確立していないと述べています。

両氏の発言からは、重大な危険への認識がありながら、結果としてAIの能力向上が安全技術の確立より優先される形で開発が進んでいる状況が見えます。1社だけが開発速度を落とせば他社に先行されるため、危険性を認識していても競争から離脱しにくい構造があります。

コクソン氏が「人類の命運を賭けた危険な賭け」と批判した背景には、制御方法が確立しないまま人工超知能に近づこうとする開発競争があります。AI開発企業が安全性を重視していても、競争相手が開発を続ける限り、自社だけ能力向上を止める判断は難しくなります。

両氏の警告は、AIを安全に制御する技術の確立より能力向上が先行する開発と、それを加速させるAI開発企業間の競争への危惧を示しています。