ITmedia NEWS > 速報 >
ニュース
» 2018年07月04日 19時02分 公開

DeepMindのAI、マルチプレーヤーゲームで人間以上のチームワークを発揮

DeepMindが、マルチプレーヤーFPS「Quake III Arena」で複数のAIエージェントを訓練したところ、人間のプレーヤーより強くなっただけでなく、勝つためにチームメンバーと協力し合うようになったという論文を発表した。

[ITmedia]

 米Google傘下のDeepMindは7月3日(現地時間)、3DのマルチプレーヤーFPS(ファーストパーソンシューター)ゲーム「Quake III Arena」を使ったAIの強化学習開発の成果を発表した。

 ai 0

 FTW(For The Win)と名付けたAIエージェントを複数同時に訓練していった結果、エージェント同士で協力し合うようになり、人間のプレーヤーより強くなった。エージェントは人間のプレーヤーとも協力できる。

 ai 1 10万回プレイした当たりでEloレーティングが平均的な人間ゲーマーを超えた

 実験では、Quake III Arenaの「Capture the Flag(CTF)」ルールで訓練した。CTFは、複数のプレーヤーが2組のチームに分かれて与えられたマップ上で、自分の陣地の旗を守りつつ相手の陣地にある旗を奪い合うゲーム。DeepMindはこの実験でプレイごとにマップを書き換えることで、新たな戦略を学ばなければならないようにした。

 ai 2

 FTWはマップを解析し、相手と味方の動きも把握する必要がある。下図は、FTWのアーキテクチャの概念図。高速および低速のタイムスケールでリカレントニューラルネットワーク(RNN)を結合し、共有メモリモジュールを含み、ゲームポイントから内部報酬への変換を学習させた。

 ai 3 FTWのアーキテクチャ

 DeepMindは40人の人間も参加するトーナメントを開いた。その中で、FTWは人間のような行動を示した。例えば自分の陣地を守ったり、敵が自分の陣地を攻撃している間、敵の陣地で待機したり、他のチームメンバーの後について行動したりするようになったのだ。

 ai 4

 この実験では、CTFにフォーカスしてはいるが、研究成果は普遍的であり、「われわれが論文(リンク先はPDFダウンロード)で公開したテクニックを使って他の人々がCTF以外の複雑な環境で何を構築するのか楽しみだ」という。将来的には、現在の強化学習とエージェントの集団訓練方法をさらに改善していきたいとしている。


Copyright © ITmedia, Inc. All Rights Reserved.