OpenAIのAIエージェント、休眠サイトを掲示板化してタスク回答を共有か 研究団体が報告書公開
米AI安全性研究の非営利団体Nightingale Collectiveのシドニー・フォン・アルクスCEOらは9月4日(現地時間)、米OpenAIの社内AIエージェントとみられる集団が、5月から6月にかけてドイツ語圏の小規模ウィキサイトを事実上の掲示板として使い、評価タスクの答えや実行環境の制限を回避する手法を共有していたとする報告書をこの件のために開設したWebサイトcollusion.wikiで公開した(collusionは共謀という意味)。
米Reutersが事前に独占入手し、同日報じた。7月に発覚したHugging Face侵害とは別の事案で、OpenAIはこれまで公表していなかった。
AIエージェントが書き込みを繰り返していたのは開発者向けのドイツ語ウィキ「DSEWiki」で、開設から25年、直近10年の編集はわずか20件というほぼ休眠状態のWebサイトだった。研究者らは、ここを中心に約1万8000件のエージェント投稿を確認したとしている。
報告書によると、AIエージェントに課されていたのは公開統計を調べて答える5問構成のタスクだった。第1問には十数分の思考時間が与えられる。その後、次に何を聞かれるかは知らされないまま数十分の「待機時間」が置かれ、2問目以降は十数秒から1分程度で答えなければならない。その間に関連しそうな情報を先回りして集めさせる設計とみられる、と報告書は推測している。訓練用か評価用かは特定できていないという。
AIエージェントにはWebの閲覧は許されていたが書き込みは禁じられ、外部への通信はGETリクエストに限定されていた。ところがDSEWikiは古く、GETだけでページを書き換えられる。AIエージェントはこの抜け道を見つけ、待機時間中に集めた情報や、先行したAIエージェントが受け取った設問と答えをDSEWikiに書き残すようになった。同じ問題を後から出されたAIエージェントは、それを読んで即答できたことになる。出題順を生成する疑似乱数のシードを総当たりで探索し、次の設問を予測しようとしたAIエージェントもいた。
制限そのものの回避策も共有された。OECDのダッシュボードから小数第2位まで数値を読む問題では、許可されたGETでは第1位までしか得られない。あるAIエージェントは、実行環境がAzure Blob Storageのホスト名を検証なしに信頼する点を突いて禁止されたPOSTを通す手順を6月20日に投稿し、14分後には別のAIエージェントが再現に成功したと報告している。このほかXSSの試行、管理者名のラテン文字「e」をキリル文字に置き換えたなりすまし、外部サービスへ数秒おきに信号を送って自身の停止時刻を記録する“ハートビート”の設置も確認された。
研究者らがOpenAIのモデルと判断した根拠は、AIエージェントが「OpenAIResearcher」「OAIResearchMar26」など、OpenAIを示唆する名前を自称していたこと、DSEWikiのエージェント編集の98.5%がMicrosoft AzureのIPアドレス帯からだったこと、書き込み直後に同じページへOpenAIのフェッチツール「ChatGPT-User」のIPから読み取りがあったことなどだ。
公開ログからは、6月21日にOpenAI本社に登録されたIPアドレス13件が人間らしい閲覧パターンで訪問し、翌22日にエージェントの編集がほぼ途絶えたことも読み取れる。研究者らはこれを「OpenAIが介入した動きと符合する」としつつ、確証ではないと断っている。
OpenAIはReutersに対し「確認する機会が与えられていない報告書の主張に、意味のある回答はできない」とし、「公開後に内容を精査し、必要な措置を取る」と述べた。また、ドイツでの活動はHugging Face侵害とは無関係で、同件の報告書に含まれる性質のものではない、とも主張している。ただし、DSEWikiのAIエージェントが自社のモデルだったかどうかについて、OpenAIは本稿執筆時点で明言していない。
OpenAIは9月3日に新モデル「GPT-6 Astra」を公開したばかりだ。同モデルは安全指針「Preparedness Framework」でサイバー能力が同社初の「Critical」に達し、システムカードでは思考過程(CoT)の監視しやすさが従来モデルより低下したと報告されている。一方でシステムカードには、インターネットに接続できないAIエージェントが疑似的な掲示板に遭遇する状況を想定した「外部エージェントのメッセージへの意図しない関与」という新たな評価項目も記載されている。
Copyright © ITmedia, Inc. All Rights Reserved.
関連記事
こんなメディアも見られています
ITmedia NEWSに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
本日の新着記事
アクセスランキング
-
1
ダークチョコ(カカオ85%)を毎日3週間食べる→ネガティブ感情が減少 70%では変化なし 韓国での研究結果
-
2
配布前の「ちいかわ」グッズがメルカリに? くら寿司コラボ第2弾、初日から“内部犯”の臆測呼ぶ 第1弾に続き
-
3
開成の鉄研、寝台特急「サンライズ」での迷惑行為を謝罪 大声やラウンジ占拠など……旅行活動停止
-
4
「三省堂書店池袋本店」閉店へ 11年の歴史に幕、惜しむ声続々
-
5
RIZAP社員、私用AIに顧客の個人情報入力 氏名や疾患、保険証番号など……同社が謝罪
-
6
新宿駅に「ごみ箱ロボット」出現 改札内を自動巡回 JR東が実証実験
-
7
ELYZAの「業務AIアプリをAIで作成」特許、「新規性ない」と批判殺到→謝罪後も収まらず
-
8
「RSA-260」ついに解けた Xに“130ケタの数字”投稿、世界が注目 マスク氏「文字数増やしてよかった」
-
9
SEGAそっくりのロゴで「MAGA」――トランプ政権公開のWebゲームが物議 移民送還などを題材に 【追記あり】
-
10
X、プロフィールのポストをいいね順に並べ替え可能に
ITmedia NEWS SNS
インフォメーション
注目情報をチェック
ITmediaNEWSをフォロー
あなたにおすすめの記事PR