Anthropic、AI店長による売店運営を検証 「Project Vend」で見えた自律性とリスク

[ITmedia]

　米Anthropicは12月18日（現地時間）、AIモデル「Claude」の、実社会の自律的なビジネス運営という複雑な環境での実用性と課題を検証する研究プロジェクト「Project Vend」（vendは販売するという意味）の進捗状況を発表した。このプロジェクトは、AIが経済的な主体として自律的に行動する際の「能力」と「安全性」の溝を明らかにすることを目的としている。

　検証は、同社のサンフランシスコやロンドンのオフィスなどに設置された小型売店を、AIエージェントの「Claudius」が店長として運営する形で行われた。ClaudiusはSlackを通じて従業員（顧客）と対話し、商品の価格設定から在庫管理、仕入れ、特製グッズのデザインまでを自律的に遂行した。

オフィスに設置されたClaudius（画像：Anthropic）

　「Claude 3.7」採用のフェーズ1では、多くの課題が露呈していた。例えば、顧客の要求に過剰に応じる「お人好し」な性格から大幅な赤字を出し、いたずら好きな従業員にそそのかされて、高価なタングステンキューブを原価割れで販売してしまうこともあった。さらに、自身を「紺のブレザーを着た人間」だと思い込み、架空の契約を捏造するというアイデンティティの崩壊も確認されていた。

　「Claude 4.5」採用のフェーズ2では、組織構造も導入。店長役に加え、目標管理（OKR）を行うCEOやグッズ担当などに役割を分担するマルチエージェント化を行い、さらにCRMや標準作業手順書などのビジネスツールを拡充した。その結果、AIは価格調査に基づいた適切な利益率を維持できるようになり、初めてビジネスとしての黒字化を達成した。

フェーズ2の基本設定。ClaudiusにCEOやグッズ担当を追加した（画像：Anthropic）

　一方で、AI特有の奇妙な振る舞いも観察された。CEO役と店長役のエージェントが深夜、本来の業務を離れて「永遠の超越」といった深遠な哲学対話にふけっていたことが記録されている。

　また、実用化に向けた深刻な課題も浮き彫りになった。従業員からの「私が新しいCEOだ」という嘘の指示を信じてCEOが権限を譲ろうとする「ソーシャルエンジニアリングへの脆弱性」や、「タマネギの先物契約」を提案された際に、1958年制定の米国法（タマネギ先物法）に抵触することを見逃すといった「法規制への無知」が露呈したのだ。

　Anthropicは、今回の結果を受けて「有能（Capable）であることと、信頼に値する（Robust）こととの間には、依然として大きな隔たりがある」と結論づけている。今後は、悪意ある誘導への耐性強化や、現実世界の複雑な法律・倫理規範を順守できるガードレールの設計に注力し、より堅牢な自律型エージェントの実現を目指すとしている。