Google、「Gemini 3.5 Flash」に「Computer Use」を標準搭載──AIが画面を見てブラウザやアプリを操作
米Googleは6月24日(現地時間)、同社のAIモデル「Gemini 3.5 Flash」に、AIがコンピュータの画面を認識して操作を自動実行する「Computer Use」機能を標準ツールとして搭載したと発表した。開発者はこの機能を使い、Webブラウザやモバイル、デスクトップの各環境で動作するエージェントを構築できる。
Computer Useとは、AIがスクリーンショットを通じて画面を「見て」、マウスのクリックやキーボードからの入力などの具体的な操作を生成することで動作する機能。文章や画像を生成する従来の使い方とは異なり、AIが実際の画面を操作して一連の作業を完了させる点が特徴だ。Google DeepMindでプロダクトマネジャーを務めるマテオ・キロス氏は、Gemini 3.5 FlashがGoogle検索やマップを使ったグラウンディングなどの組み込みツールに加え、画面操作にも対応したと説明している。
実際の処理は、AIに目標と画面のスクリーンショットを渡すと、AIが「この座標をクリックする」「ここに文字を入力する」などの次の操作を提案し、開発者側のプログラムがその操作を実行する、という流れを繰り返すというものになる。実行後の新しい画面を再びAIに送り返すことで、タスクが完了するまで操作を続ける仕組みだ。AI自体がWebブラウザを直接動かすのではなく、従来の関数呼び出しと同様に、AIの提案を開発者のコードが実行する関係になる。
今回の発表のポイントは、これまで独立した専用モデル「Gemini 2.5 Computer Use」としてのみ提供していた機能を、主力モデルであるGemini 3.5 Flashにネイティブ統合した点にある。Googleはこれにより、エージェント型の画面操作タスクで同社として過去最高の性能を実現したとしている。想定する活用先としては、継続的なソフトウェアテストや、複数の専門アプリケーションをまたぐナレッジワークなど、長時間に及ぶタスクや企業の業務自動化を挙げている。
Googleは、AIが画面上の操作を実行するこの種の機能には新たなリスクが伴うとして、安全性への配慮も示している。例えば、AIが画面上の信頼できない情報や指示に従ってしまう可能性や、目標やページ内容を誤解して誤った操作をしてしまう可能性があるという。その対策として、Gemini 3.5 Flash向けに標的型の敵対的トレーニングを実施したほか、機密性の高い操作や取り消せない操作の前にユーザーへ明示的な確認を求める仕組みと、間接的なプロンプトインジェクションを検知した場合にタスクを自動停止する仕組みという、2つのオプションの企業向けセーフガードを提供する。同社は、こうした機能をサンドボックスによる隔離実行や人間による確認、厳格なアクセス制御と組み合わせる多層防御のアプローチを推奨している。
開発者向けドキュメントによると、Computer Useは現時点でプレビュー機能であり、エラーやセキュリティ上の脆弱性が生じやすいとされる。Googleは、重要なタスクでは密に監督し、重大な判断や機密データの取り扱い、取り返しのつかない操作には使わないよう推奨している。
Copyright © ITmedia, Inc. All Rights Reserved.
関連記事
こんなメディアも見られています
ITmedia AI+に関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
アクセスランキング
-
1
AIに打ち明けた相談は“広告トラッカー”に筒抜け? ChatGPT、Claude、Gemini含む42サービスを米大が調査
-
2
OpenAI、児童性的虐待コンテンツ(CSAM)検出ツールを公開 ChatGPTで探すと24時間アカウント停止の警告も
-
3
「AI処理、データ非保持が守られず」――Notionが委託先の問題指摘、漏えいの恐れ巡り
-
4
MUFG、松尾豊教授ら設立のAIスタートアップと提携 「遍在型AGI」活用へ
-
5
「Gemini 4 Hydrogen」とは 性能とユースケースまとめ Googleの「誰でも使える」最新モデル
-
6
ジェンスン・フアン氏退任は「NVIDIAバブル崩壊」の序章か? どうなる今後の半導体業界
-
7
Googleの“人気AI講座”、先着1万人に無料提供 リスキリング推進団体
-
8
フリーランス市場、受注者の約8割がAIを利用 自発的に開示は1割弱、両者に意識差 IBMリサーチなど調査
-
9
農水省の“クソダサ”ポスター話題 「AIよりよっぽど良い」の声も 担当者に狙いを聞いた
-
10
AIモデリングもできる無償3D CAD「SolidCraft」を試してみた!
SpecialPR
ITmedia AI+ SNS
インフォメーション
注目情報をチェック
ITmedia AI+をフォロー
あなたにおすすめの記事PR