Anthropic、「Claude 3.5 Sonnet」にPCを操作する「Computer Use」（β）追加
米Anthropicは10月22日（現地時間）、6月にリリースした「Claude 3.5 Sonnet」を更新し、「Computer Use」という新機能をβ版として追加したと発表した。
この機能により、ClaudeはPCの画面を“見て”、カーソルを移動したり、ボタンをクリックしたり、テキストを入力したりと、人間と同じようにPCを操作できるという。
利用するには、Anthropic APIを介してClaudeに指示を与える。デモ動画（記事末に転載）では、「ウィンドウ1のベンダー表計算ファイルまたは検索ポータルタブのデータを使って、「Ant Eauipment Co.」のベンダーリクエストフォームに記入してください。ウィンドウ2のフォームに記入する際、各フィールドをリストして確認してください」と入力したプロンプトをClaudeが実行する様子を見ることができる。
プロンプト入力
実行中
この機能はまだβ版のため、（動画から分かるように）人間が直接PCを操作するよりも遅くなる可能性がある。また、特定の座標を出力する際にミスをしたり、“幻覚”を起こしたり、スクロールの信頼性が低いなど、多数の課題があるとAnthropicは認めている。
それでも、スクリーンショットのみを使う操作のベンチマーク「OSWORLD」で、従来の高スコア、7.8％を大きく上回る14.9％のスコアを達成した。
Computer Useは同日から、Anthropic API、Amazon Bedrock、Google CloudのVertex AI上で開発者向けにパブリックβ版として提供を開始された。
Computer Useの使い方は記事の下の「関連リンク」の「Computer use (beta)」を参照されたい。また、Claude Sonnet 3.5のこの他の更新と、「Claude Haiku 3.5」リリースについては別記事にまとめた。
Copyright © ITmedia, Inc. All Rights Reserved.
関連記事
こんなメディアも見られています
ITmedia NEWSに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
本日の新着記事
アクセスランキング
-
1
GMO、ランサム被害にあった顧客に新しいPC提供へ 犯行グループは1人の顧客情報公開か
-
2
資さんうどん、従業員の退職理由などが外部から閲覧可能に 委託先の勤怠システムに設定不備
-
3
NECのルータ「Aterm」、PHP脆弱性の影響なし 設定画面URLの「.php」は無関係
-
4
GMO、不正アクセス実行犯の手がかりに懸賞金 1億5000万円規模
-
5
「楽天トラベル」に不正アクセス 顧客情報最大約260万件など流出か 予約者約3.6万件のクレカ情報も
-
6
GMO不正アクセスの犯人サイト、ドメイン停止を確認
-
7
「推しがそばにいる日常」を ソニー、5万円台の裸眼3Dディスプレイ アニメ公式コンテンツに対応
-
8
メアドを検索→AIで“その人専用フィッシングメール”を生成する手法、クリック率が約2.7倍に 7000人以上で実験
-
9
So-net、会員情報約259万件が漏えい 一部メールサービスではパスワードも流出
-
10
GMO、攻撃者の公開情報に「アクセスは絶対に控えて」 悪質な拡散者には法的措置を準備
ITmedia NEWS SNS
@itmedia_newsをフォロー
インフォメーション
注目情報をチェック
ITmediaNEWSをフォロー
あなたにおすすめの記事PR