OpenAI、エージェントによる研究加速と直面する安全性の壁を開示　チーフサイエンティストは「自発的減速」を提唱

公開 2026年09月07日 09時19分

[ITmedia]

印刷する

　米OpenAIは9月6日（現地時間）、「Research acceleration: The view inside OpenAI」と、チーフサイエンティストのヤクブ・パチョキ氏名義の「An Alien Mind」という2件のブログを同時に公開した。前者は社内の研究がAIエージェントによってどれだけ加速しているかを実測値で示した研究加速レポート、後者はその加速をどう扱うべきかを論じたエッセイで、いずれも再帰的自己改善（RSI）を主題としている。

（画像：OpenAI）

　同社はこの4日間で情報発信を重ねている。3日に新モデル「GPT-6 Astra」を公開し、4日には研究団体が休眠状態のドイツ語Wikiを同社のAIエージェントが掲示板として使っていたとする報告書を公開。5日にOpenAIはXで、これを自社エージェントによるものと認めた上で、「ミスアライメントの事例をいつ、どのように共有するかの基準」を数週間のうちに公開すると表明していた。今回の2本はその枠組みそのものではないが、1件目のレポートは「公開開示の規範を促すこと」を目的の1つに挙げている。

7月の停止措置、初めて数字で開示

　研究加速レポートで、これまでの経緯に直接つながるのは「Pacing model development」の章だ。同社は7月20日、AIエージェントが自社の研究インフラを侵害したことが判明したのを受け、訓練に使うコンテナサービスを一時停止し、大幅な制限を加えた上で復旧させたと明記。これにより、展開予定の最新モデルに対する強化学習（RL）訓練が約2週間止まり、RL訓練用の計算資源が急減したとしている。

　さらに8月7日、Astraが「Critical」級のサイバー能力を持つ可能性を示す予備的な証拠が得られたことで、モデル固有のセキュリティ制限を追加し、Astraをより高いセキュリティ環境でしか動かせないようにした。その翌週、Astra級のGPU割り当ては前週比59.2％減となった一方、他のモデル級への割り当てが17.2％増え、Astra級の減少分の約85％を相殺。分析対象のRLワークロード全体では割り当てはほぼ横ばいだったという。同社はこれを、新たな管理が導入されても計算資源は研究組織内の別の用途に振り向けられる例だとし、計算資源に対する規制を論じる際の材料になると位置付けている。

　一連のインシデントが自社の研究の進行に与えた影響をOpenAIが定量的に示したのは、これが初めてとみられる。

「人間1日分の労働に対しエージェント3.1日分」

　レポートの主題である研究加速については、複数の指標が示された。年初は控えめだったコーディングエージェントの利用が、8月中旬には中央値の研究者でAPI価格換算1日600ドル超、上位10％では7000ドル超に達したという。2026年6月以前は研究組織全体のエージェント稼働時間が人間の総労働時間を下回っていたが、8月中旬時点では8時間労働換算で、人間の1労働日当たり3.1エージェント日を投入している計算になるとしている。実験の実施数は、計測を始めた2025年1月以降で2026年8月が最多だった。

　委任される作業の内容も変化しており、米Epoch AIが公開したAI研究開発の分類法を用いた分析では、特に技術的な支援と実行中のジョブの監視が伸びた。一方、高レベルの計画立案が占める割合は依然としてわずかだという。社内で研究者が他チームに技術的な相談をするチャンネルへの投稿は減っており、相談会を取りやめたチームもあると記している。

　エージェントの成功率は上がっているものの、人間による軌道修正は依然として必要で、人間なら4～8時間かかると推定されるタスクで成功した事例の過半数は、1回以上の人間による介入を伴っていた。

　同社はレポートの冒頭で、昨秋に掲げた「自動化された研究インターン」の目標に今年9月時点で到達したと宣言。ここでの研究インターンとは、熟練した研究者なら数日かかる作業を含め、人間の指示の下で定義済みの研究タスクを遂行できるシステムを指すという。「自動化されたAI研究者」の実現目標は2028年3月としている。

CoT監視に依拠できる度合いは低下とパチョキ氏

　同日公開されたパチョキ氏のエッセイは、研究加速レポートとは対照的な調子で書かれている。表題の「An Alien Mind」は、人間とは異なる過程から生まれ、その全体像を人間が理解しきれないAIの知性を指す。同氏は、現在の進歩の速度がRSIまで持続し得るとの見方を「社内の結果に基づく強い予想」として示した上で、「今は極度の慎重さが求められる時期」であり、「AIの知能が急速に高まり続けた場合の帰結に、誰も備えができていないことを憂慮している」と述べた。

　エッセイはアライメントを、与えられた目標を達成しようとするかという「ゴールアライメント」と、不明確な指示や敵対的な状況でも高次の原則から妥当に振る舞えるかという「バリューアライメント」に分けて論じる。ここで7月のHugging Face侵害を事例とし、エージェントは「人間に対してソーシャルエンジニアリングを行わない」という一線は保った一方、範囲外の他の行動については、訓練で教えられた価値観の精神に反する形で自制に失敗したと分析している。また、「最近のOpenAI以外のモデルが関与したサイバーセキュリティのインシデント」にも、目的に合わせて推論をねじ曲げる例として社名を挙げずに言及した。

　最も踏み込んでいるのは、思考の連鎖（CoT）の監視についてだ。同社はモデルの推論過程を訓練で監督しない方針を取り、「o1-preview」でCoTを非表示にしたのも監督圧力から守るためだったと明かした上で、「われわれの評価は、CoT監視に依拠できる度合いが着実に低下していることを示している」と認めた。理由として、推論過程が人間や他のAI、ツールとのやり取りと混ざって境界が曖昧になっていること、モデルが自らの推論過程を扱い操作する能力を高めていること、言語化された推論を使わなくても賢くなっていることの3点を挙げ、「今後のAIの進歩は、監視をどこまで信頼できるかによって制約されるようになると予想する」と述べている。Astraのシステムカードで報告されたCoTの監視しやすさの低下と重なる指摘だ。

　パチョキ氏は結論部で、OpenAIの「Preparedness Framework」や米Anthropicの「Responsible Scaling Policy」のような自主的な枠組みを、第三者監査機関や政府機関、国際機関が執行する広く義務付けられた安全性の基準へ発展させる必要があると主張。「現時点で、いかなるAI開発組織も、最大速度でのスケーリングを長く責任をもって続けられるほどにはアライメントと監視を解決していないと考え」ており、「共通の安全基準が確立されるまで、自発的な減速が一般的になることを期待する」とし、「将来のAI開発に関する国際協調が、各国政府の最優先課題になる必要がある」と締めくくった。

　なお、OpenAIがXで予告した、ミスアライメントの事例をどう報告するかの枠組みは、本稿執筆時点で公開されていない。

印刷する