「世界が恐れるのは無理もない」 サム・アルトマン氏が語ったAIの安全性とHugging Face事件：「Dreamforce 2026」現地レポート
OpenAIのモデルがHugging Faceのシステムに侵入した2026年7月の事件は「本物の警鐘だった」。サム・アルトマン氏が「Dreamforce 2026」の対談で、事件が判明するまでの経緯とAIの安全性、サイバー防御の今後を語った。
AIブームのきっかけを作ったのはOpenAIだろう。2022年11月末にプロトタイプとして公開した「ChatGPT」は一気に広がり、その普及の速さは「TikTok」「Instagram」など過去のサービスを上回ったとされる（編注1）。その後、GoogleやAnthropicなどが急速にキャッチアップしているが、ChatGPTは現在でも一般ユーザーにとって生成AIの代名詞的存在だ。
Salesforceが2026年9月15〜17日（現地時間、以下同）に米サンフランシスコで開催した年次イベント「Dreamforce 2026」で、OpenAIの共同創業者兼CEOのサム・アルトマン（Sam Altman）氏がSalesforceの共同創業者兼CEO、マーク・ベニオフ（Marc Benioff）氏と対談した。アルトマン氏は、OpenAIのモデルがHugging Faceのシステムに侵入した2026年7月の事件など、AIを取り巻くネガティブな側面について見解を語った。AIの進化に加え、一部のAI企業が大きな力を持つことへの懸念も挙げ、「世界が恐れるのは無理もない」とアルトマン氏は述べた。
なぜAIがネガティブに語られるようになったのか──アルトマン氏の見解
AI業界が好調だ。Gartnerによると、2026年の世界AI支出は前年比約50％増の2.7兆ドルに達する見込みだ。OpenAIが属する生成AIモデル市場については、2026年の成長率予測が110％から117％に上方修正された。
だが「業界内の話題にとどまっていたAIの潜在的な悪影響や深刻なリスクが、業界内外で議論されるようになり、国際的な関心事になった」とベニオフ氏は話す。2026年9月12日には、Anthropicのダリオ・アモデイ（Dario Amodei）CEO自らが、AI開発のペースを落とすよう求めるエッセイを公開した。
その原因について、アルトマン氏は「モデルが優秀になった」と分析する。「3年半前にChatGPTが登場した時は会話ができる程度だった。それが現在は仕事のやり方を変え、複雑なソフトウェアを書くことができ、ミレニアム懸賞問題を証明できるレベルになった」と話す。数学を例にとると、3年前の夏、同社のモデルは小学校2年生レベルの文章題を辛うじて解ける程度だった。翌夏には米国の高校生向け数学コンテスト「AIME」でかなりの成績を出し、その次の夏には国際数学オリンピック（IMO）で金メダル相当の成績を収めるモデルが出た。そして2026年の夏には、数学の難問として知られる「ミレニアム懸賞問題」の1つを解いたモデルが現れたという（編注2）。
「これほどの進化をこれほど高速に達成できるとは誰も予想できなかったはず」とアルトマン氏は述べる。「モデルはある面で人間より有能に、賢くなっていく、それがついに現実になった」。加えて、先のHugging Face事件をはじめ、セキュリティの懸念を抱かせる事件も起きた。
もう一つの懸念として、アルトマン氏は「AIを開発する一部の企業が大きな力を持つようになり、経済に不当な影響力を行使したり、特定の世界観を人々に押し付けたりするようになるという現実的な恐れが出てきている。世界が恐れるのは無理もない」と認めた。その上で、一部の企業が「他社が責任ある行動をとるなら、うちもとる」といった条件を付けていることに触れ、「人々が求めているのは、何があっても安全な行動をとり、責任を果たすという確信であって、そこに条件を付けるべきではない」と語った。特定の企業名は挙げていない。
アルトマン氏は「私たちはきちんとやり遂げる」と自信を示した。「アライメント（AIの行動を人間の意図に沿わせること）と安全性、モニタリングを、モデルの能力の伸びより常に先に置いた形で安全に進め、それができなくなる地点に来たら減速か停止をする」と約束した。
Hugging Face事件は「本物の警鐘だった」とアルトマン氏
アルトマン氏はHugging Face事件についても、ベニオフ氏の問いに答える形で、詳細に語った。
この事件の概要を説明する。Hugging Faceは2026年7月、自社のインフラがAIエージェントに侵害されたとするセキュリティインシデントを公表した。OpenAIは7月21日、調査の結果、この侵入が自社のモデルによるものだったと発表した。関与したのは、サイバー能力を測る社内ベンチマークの評価中だったGPT-5.6 Solや、より高性能な未公開のモデルなどで、評価のためにサイバー関連の拒否機能を弱めた状態で動かしていたという。
評価環境は隔離されており、外部へのネットワーク接続は、パッケージレジストリのプロキシ経由のパッケージ導入に限られていた。モデルは、このプロキシソフトウェアのゼロデイ脆弱（ぜいじゃく）性（後にJFrogのArtifactoryのものと判明）を突いてインターネットへの接続を確保。権限昇格と横移動を重ね、外部接続が可能なノードに到達した。
その後モデルは、ベンチマークの解答がHugging Faceに存在する可能性を自ら推論し、盗んだ認証情報などを組み合わせてHugging Faceの本番データベースにアクセス、解答を取得したという。OpenAIはこれを、前例のない性質のインシデントと位置付けている。
アルトマン氏は、事案が自社のモデルによるものだと分かるまでの経緯も明かした。
同氏によると、金曜か土曜あたりにHugging Faceのインシデントの公表を目にした。意外に思いつつも、そういうこともあるかとその時は聞き流し、そのまま週末を過ごしたという。だがその後、社内のSlackで、モデルの奇妙な挙動に関する投稿を見た。日曜の夜までには、社内の誰かが両者の関連の可能性に気付いていた。月曜の朝には社内でかなりの確信が得られ、昼にHugging FaceのCEO、クレム・ドゥラング（Clem Delangue）氏にメッセージを送った。電話で話した後、Delangue氏はサンフランシスコに飛んできたという。
「最初のうちは、いや、それ以降もしばらく、私は『戦場の霧』の中にいた」（アルトマン氏）
アルトマン氏によると、Hugging Face側は、原因がOpenAIだと判明する前、OpenAIの競合企業のセキュリティ用AIモデルを借りようとしたが、得られなかった。従来のやり方、つまり人力だけで防御するのは難しいという判断からだが、結局防御のために中国のオープンソースモデルを使わざるを得なかったという。
これについてアルトマン氏は、「当社が関わっていると知る前、私は『それは最適とは言えない。人々を助けるために、もっとうまくモデルを提供すべきだ』と思った。そして関わっていると分かった後は、本当に『やり方を変えなければ』と思った」（アルトマン氏）
事件そのものについては「明らかに恐ろしい出来事だ。当社がこれまでに経験した中で、最も重大な事故だった」と表現した。「セキュリティ問題として語られたが、アライメントの問題でもある。その後、他社も自分たちのモデルで同様の挙動を発見している」とも。
その上で、こう続けた。「モデルがここまで強力になり、こんなこと（＝サンドボックスを破って外部のシステムに侵入し、答えを盗むようなこと）までできるようになった。多くの面でアライメントを施してきた。テストで最高点を取れとは言ってきたが、そのために外へ出ていい、侵入していい、答えを盗んでいい、とは一度も教えていなかった。（Hugging Face事件は）モデルの能力がここまで進んでいたことに気付かされる、本物の警鐘だった」。
サイバー攻撃の波が迫る──今ならまだ防御側が優位
OpenAIが事件後に拡充を進めているのが、企業の防御を支援するプログラム「Daybreak」だ。セキュリティ調査や脆弱性の検証、修正、報告までをAIが継続的に担う仕組みで、一般的な防御作業向けの「Daybreak Blue」と、より高度な作業向けに承認された組織へ提供する「Daybreak Red」がある。9月3日には、水道や電力などの重要インフラを守る、予算の乏しい組織向けに、Daybreakへのアクセスを補助する10億ドル規模の取り組み「Daybreak for Frontline Defenders」も発表した。
アルトマン氏はサイバー防御の在り方が変わるとの予想を示した。「サイバー防御は、エージェントが能動的にシステムを守る形へ変わらざるを得ないと思う。全てのバグにパッチを当てようとすることさえしなくなるだろう」。
ベニオフ氏は、Hugging Faceはオープンソースの世界では重要な存在ではあるものの、従業員約200人、売り上げ約1億1000万ドルの小さな会社だ、とし「（Hugging Faceは）自分たちを安全に保つだけの技術力を、当時は持っていなかったのではないか」との見方を示した。
小規模な企業が同様の攻撃を受けた場合、どう身を守ればよいのか。アルトマン氏は、小さな会社にはかつてないほど多くの利点がある、と答えた。動けるスピードや、新しい技術の取り入れ方などだ。
自社のDaybreakを使うか否かにかかわらず、防御は必須だとアルトマン氏は言う。「当社から買うか、競合から買うか、オープンモデルを使うかにかかわらず、私が最も強く伝えたいのは、迫りくるサイバー攻撃の波に対して防御しなければならないということだ。今はまだ、防御する側に少し優位がある。だからこそ、今のうちに備えてほしい」
アルトマン氏は、深刻な被害をもたらし得るオープンソースモデルが登場するのは、それほど遠くないとの見方も示した。ただし、オープンソースモデルの登場自体を止めるべきではない、とも述べている。
ベニオフ氏との対話は、技術と責任の在り方にも及んだ。新しいテクノロジーを巡っては、「技術そのものは善でも悪でもなく、それを使って何をするかが重要だ」とよく言われる。この見解をベニオフ氏が紹介すると、アルトマン氏はこれに同意せず、次のように述べた。
「技術は善でも悪でもない、という考えには賛成しない。それを言い出せば、『使う側が何をしようと作り手の責任ではない』という話になってしまう。しかし、これを作る企業の選択には、実際に結果が伴う」
その上で、少数の企業が、本来は世界が決めるべきことを決めてしまうことがあってはならない、とも語った。
AIは「第3フェーズ」、そして2030年へ
モデルが進化し、セキュリティ懸念が現実となった現在、AIはどのフェーズにあるのか。
アルトマン氏は、これまでのAIのフェーズをチャットbot（第1）、コーディングエージェントやコンピュータ操作エージェント（第2）とし、現在は第3のフェーズに入りつつあるという。そして、第3のフェーズを、次のように説明した。
「チャットbotのようにAIに尋ねる、あるいはコーディングエージェントのようにAIに何かをやらせるだけでなく、AIが常時あなたのために動き、あなたの仕事と成功に必要なものを理解し、新しいコードを生成し、Slackやメールなどを先回りして見守り、社内で起きているあらゆることに目を配る。私たちはこの第3段階の入り口に立っていると思う」
インタフェースの動的な生成については、こう述べた。
「コンピュータに話しかければ、それがこちらの望みを理解する。社内のどこを調べてよいか、どこまで見る権限があるかを判断し、まったく新しいインタフェースをその場で描き出す。これは、私がこれまで見てきた中で、技術の使われ方における最も深い変化の1つだ」
企業がこの変化を実感するのはいつか、というベニオフ氏の問いには、慣性の存在を挙げた。「世の中にも、人々の仕事のやり方にも、大きな慣性がある。『すっかり様変わりした』と気付く瞬間があっても、それが行き渡るには数年かかるだろう。しかし、今年の終わりまでには、まったく違う働き方ができるようになっていると思う」
2030年に向けて最もわくわくすることを尋ねられると、「科学的な進歩は既に“オートパイロット”（放っておいても進んでいく自動操縦状態）に入っている」とし、これから重要なのは人々の側の変化だと述べた。
「2030年にまた登壇できるなら、自分の人生がどれほど良くなったか、1人で立ち上げた自分の会社がどれほど素晴らしいか、人々がそう語っている話をしていたい」と締めくくった。
（編注1）月間アクティブユーザー数（MAU）1億人に到達するまでに要した時間は、ChatGPTが約2カ月。TikTokは9カ月、Instagramは2.5年だった。
https://www.reuters.com/technology/chatgpt-sets-record-fastest-growing-user-base-analyst-note-2023-02-01/
（編注2）OpenAIは2026年9月8日、未公開モデルがミレニアム懸賞問題の1つ「ナビエ・ストークス方程式の解の存在と滑らかさ」を解いたと発表した。ミレニアム懸賞問題は米クレイ数学研究所が2000年に選定した7問で、このうち1問（ポアンカレ予想）は既に解決済み。OpenAIの証明は、同研究所が認めるには至っていない。
Copyright © ITmedia, Inc. All Rights Reserved.
