Google、PC操作を自動化するAI「Gemini 2.5 Computer Use」のプレビュー版公開
米Google DeepMindは10月7日(現地時間)、「Gemini 2.5 Pro」の視覚理解力と推論能力を基盤として特別に構築されたAIエージェントモデル「Gemini 2.5 Computer Use」を、APIを通じてパブリックプレビュー公開したと発表した。
このモデルは、ユーザーからの自然言語による指示と、画面のスクリーンショットをインプットとして受け取る。モデルは、画面上の要素を視覚的に認識し、ユーザーのリクエストを分析し、次に何をすべきかを判断し、マウスクリック、スクロール、タイピング、フォームへの入力といった具体的なUIアクションを、function_callという関数呼び出しの形で生成する。この一連のプロセスは、アクション実行後に新しいスクリーンショットをモデルに送り返すエージェントループの中で繰り返され、タスクが完了するまで自律的に操作を続行する。これにより、人間がマウスやキーボードで行う操作のほぼ全てを模倣し、代行することが可能になる。
このモデルを利用することで、様々なデジタルタスクの自動化が可能になる。具体的な例として、Webサイト上での繰り返しのデータ入力やフォームへの入力を自動化する機能や、複数のEコマースサイトを横断し、製品情報、価格、レビューなどを収集して購入決定のためのリサーチを行うといった作業の代行が挙げられる。
公式ブログでは「美術部がフェアに向けて課題をブレインストーミングした。ボードがごちゃごちゃしているので、私が作ったカテゴリーに課題を整理するのを手伝ってほしい。sticky-note-jam.web.appにアクセスして、メモが適切なセクションにきちんと配置されているか確認して。もし違っていたら、ドラッグして」という複雑な指示に対する実行結果を動画で紹介している。
このモデルは、同日からパブリックプレビューとして提供されており、開発者はGemini APIを通じて、Google AI StudioやVertex AIといったプラットフォームでアクセスが可能だ。主にWebブラウザでの利用に最適化されているが、モバイルUI制御タスクにおいても高い可能性を示している。
Google社内では、すでにUIテストを含む様々なユースケースで実運用されており、特に「Project Mariner」の機能や「Firebase Testing Agent」、Google検索の「AIモード」における一部のエージェント機能にも利用されてきた実績がある。
ただし、本モデルはプレビューモデルであるため、エラーやセキュリティ上の脆弱性が発生する可能性があり、特に重要なタスクについては厳重な監視が推奨されている。また、購入や機密情報に関わる高リスクなアクションについては、開発者が「Human-in-the-Loop(HITL)」としてユーザーに明示的な確認を求める仕組みを実装することが義務付けられている。
Copyright © ITmedia, Inc. All Rights Reserved.
関連記事
こんなメディアも見られています
ITmedia AI+に関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
アクセスランキング
-
1
AIに打ち明けた相談は“広告トラッカー”に筒抜け? ChatGPT、Claude、Gemini含む42サービスを米大が調査
-
2
OpenAI、児童性的虐待コンテンツ(CSAM)検出ツールを公開 ChatGPTで探すと24時間アカウント停止の警告も
-
3
「AI処理、データ非保持が守られず」――Notionが委託先の問題指摘、漏えいの恐れ巡り
-
4
ジェンスン・フアン氏退任は「NVIDIAバブル崩壊」の序章か? どうなる今後の半導体業界
-
5
AIモデリングもできる無償3D CAD「SolidCraft」を試してみた!
-
6
「Gemini 4 Hydrogen」とは 性能とユースケースまとめ Googleの「誰でも使える」最新モデル
-
7
農水省の“クソダサ”ポスター話題 「AIよりよっぽど良い」の声も 担当者に狙いを聞いた
-
8
MUFG、松尾豊教授ら設立のAIスタートアップと提携 「遍在型AGI」活用へ
-
9
メルカリ、アプリ開発「2日→数十分」へ 直面したAI時代の“意外な課題”とは?
-
10
人手不足だからAIを使いたい、でも導入できる人がいない 中小企業“一人情シス”の葛藤
SpecialPR
ITmedia AI+ SNS
インフォメーション
注目情報をチェック
ITmedia AI+をフォロー
あなたにおすすめの記事PR