2015年7月27日以前の記事
検索
コラム

「コードの9割をAIが作成」 AnthropicがIPO文書で明かした“AI急加速”と制御不能リスク(3/4 ページ)

米AnthropicがSECに提出した新規上場(IPO)申請書の修正版で、AIが次のAIを開発する「再帰的自己改善」(RSI)による劇的な進歩加速に「まもなく到達する」と警告した。同社では既にコードの9割以上をClaudeが作成し、エンジニアのコード貢献量は45倍に跳ね上がっている。一方で「急加速が起きても事後まで把握できない」とも告白。AIの自己進化が仮説を脱し、制御不能リスクを孕む経営課題となった。

PC用表示 関連情報
Share
Tweet
LINE
Hatena
ExaWizards

「急加速しても事後まで気付けない」 衝撃の警告

 今回の上場申請書には、もう一つ極めて重要な警告がある。Anthropicは、AIを使った研究開発の加速によって、モデルの能力向上が、安全対策やセキュリティ対策の進歩を上回る可能性があると指摘した。さらに、同社は次のように記している。

We have in the past not identified, and may in the future not identify, a significant acceleration in our rate of development until after it has occurred.

(当社は過去に、開発速度が大幅に加速したことを、その発生後まで把握できなかった。今後も同様のことが起こる可能性がある)

 AIが研究開発をどれほど加速したかを客観的に測るには、一定期間の成果を振り返る必要がある。新しいAIが登場した直後には、そのAIが開発速度にどれほど貢献したかを正確に判断できない場合がある。このため、AIの進化が急加速する境目を超えても、開発企業自身がその事実を「後から」しか認識できない可能性があるのだ。

 問題は、その間にもAIの能力が指数関数的に向上し続けることだ。研究開発の速度が安全性の検証や対策の整備を上回れば、企業が新しいAIの危険性を十分に把握できないまま、さらに高性能なモデルを開発してしまう事態も考えられる。

 Anthropicはこうしたリスクを認識しており、現在の安全方針の見直しを検討している。同社は、人間による実質的な監督や理解なしに、Claudeが次々と最先端モデルを完全自律的に設計・開発することを、安全に実施できるとは想定していないと説明する。仮に技術的に可能になっても、人間がAI開発を管理し続けられる仕組みが不可欠だという立場だ。

© エクサウィザーズ AI新聞

ページトップに戻る