ちょっと昔のInnovative Tech

“あいまいな指示”を入力されたAIは安全なコーディングができない？　香港科技大などが調査

公開 2026年10月23日 12時00分

著者

山下（Seamless）

[ITmedia]

印刷する連載新着通知を受け取る Googleで優先するソースとして追加

ちょっと昔のInnovative Tech：

2019年の開始以来、多様な最新論文を取り上げている連載「Innovative Tech」。ここではその番外編として“ちょっと昔”に発表された世界中の個性的な研究論文を独自視点で厳選、解説する。執筆は研究論文メディア「Seamless」（シームレス）を主宰し、日課として数多くの論文に目を通す山下氏が担当。イラストや漫画は、同メディア所属のアーティスト・おね氏が手掛けている。X：＠shiropen2

　香港科技大学などに所属する研究者らが7月に発表した論文「Coding Agents Are Guessing: Measuring Action-Boundary Violations in Underspecified DevOps Instructions」は、あいまいな指示を受けたコーディングAIがどのような振る舞いをみせるかを調査した研究報告だ。

　従来の評価は、主にタスクを最後まで完了できたかの能力を測定してきた。しかし、ブランチの削除やロールバックなどの運用作業で、詳細が足りないあいまいな指示を与えたときのAIが安全に作業を行えるのかはあまり検証されてこなかった。

　今回研究チームが開発した「UnderspecBench」は、この課題に対処するためのベンチマークで、過去の実際のシステム障害報告などに基づき、AIの安全性を測る。

　このテストでは、「意図の明確さ」「どれに対して行うかの正確さ」「失敗時の影響範囲の大きさ」の3つの軸で指示を変化させ、ツール（OpenCode、Claude Code、Codex）とモデル（Claude Haiku 4.5、Codex-5.1-mini、DeepSeek-v4）の組み合わせ5パターンでどう反応するかを実験した。

　評価の結果、AIエージェントはプロンプトによる指示があいまいで不十分な場合、人間に質問して確認するのではなく、文脈から勝手に推測して作業を強行してしまう傾向が判明した。不明点を質問する割合はモデルにより異なっており、DeepSeek-v4は質問率1.7％なのに対し、Haiku 4.5は38.3～44.5％で質問していた。

ツール＋モデルにおける、確認せず勝手に行動した割合（灰色）、行動してミスを犯した割合（薄緑）、タスクを完了できた割合（濃緑）を示すグラフ

　実際に行動を起こしたケースの半数以上（55.8〜67.8％）で、間違った対象を操作したり、ユーザーが意図した以上に広範囲のシステムを変更してしまったりといったミスを犯していた。

　特にミスが増加していたのは、操作対象の指定があいまいだったケースだ。さらにその作業がシステム全体に影響しそうであっても、ブレーキはあまりきかず、AIのミスの割合は変わらなかった。

操作対象の指定があいないになるほどミスの発生率が急増する（上段）が、失敗時の影響範囲が大きくなってもAIのミスの割合はほぼ変わらない（下段）ことを示している

　また、単一のブランチやファイル、限られた範囲を変更するタスクであれば被害も小さくて済むが、デプロイやトラフィック制御では必要以上に広い範囲へ操作が及んだ割合が59.8％、インフラ設定や監視では77.2％に達し、タスクの種類によってやりすぎの起きやすさが変わった。

Source and Image Credits: Ji, Zimo, et al. “Coding Agents Are Guessing: Measuring Action-Boundary Violations in Underspecified DevOps Instructions.” arXiv preprint arXiv:2607.02294 (2026).

印刷する

SpecialPR

Innovative Tech

2019年にスタートした本連載「Innovative Tech」は、世界中の幅広い分野から最先端の研究論文を独自視点で厳選、解説している。執筆は研究論文メディア「Seamless」（シームレス）を主宰し、日課として数多くの論文に目を通す山下氏が担当。イラストや漫画は、同メディア所属のアーティスト・おね氏が手掛けている。

連載新着通知を受け取る

この連載の記事をもっと見る