DeepMindのAI、マルチプレーヤーゲームで人間以上のチームワークを発揮

DeepMindが、マルチプレーヤーFPS「Quake III Arena」で複数のAIエージェントを訓練したところ、人間のプレーヤーより強くなっただけでなく、勝つためにチームメンバーと協力し合うようになったという論文を発表した。

[ITmedia]

　米Alphabet傘下のDeepMindは7月3日（現地時間）、3DのマルチプレーヤーFPS（ファーストパーソンシューター）ゲーム「Quake III Arena」を使ったAIの強化学習開発の成果を発表した。

　FTW（For The Win）と名付けたAIエージェントを複数同時に訓練していった結果、エージェント同士で協力し合うようになり、人間のプレーヤーより強くなった。エージェントは人間のプレーヤーとも協力できる。

10万回プレイした当たりでEloレーティングが平均的な人間ゲーマーを超えた

　実験では、Quake III Arenaの「Capture the Flag（CTF）」ルールで訓練した。CTFは、複数のプレーヤーが2組のチームに分かれて与えられたマップ上で、自分の陣地の旗を守りつつ相手の陣地にある旗を奪い合うゲーム。DeepMindはこの実験でプレイごとにマップを書き換えることで、新たな戦略を学ばなければならないようにした。

　FTWはマップを解析し、相手と味方の動きも把握する必要がある。下図は、FTWのアーキテクチャの概念図。高速および低速のタイムスケールでリカレントニューラルネットワーク（RNN）を結合し、共有メモリモジュールを含み、ゲームポイントから内部報酬への変換を学習させた。

FTWのアーキテクチャ

　DeepMindは40人の人間も参加するトーナメントを開いた。その中で、FTWは人間のような行動を示した。例えば自分の陣地を守ったり、敵が自分の陣地を攻撃している間、敵の陣地で待機したり、他のチームメンバーの後について行動したりするようになったのだ。

　この実験では、CTFにフォーカスしてはいるが、研究成果は普遍的であり、「われわれが論文（リンク先はPDFダウンロード）で公開したテクニックを使って他の人々がCTF以外の複雑な環境で何を構築するのか楽しみだ」という。将来的には、現在の強化学習とエージェントの集団訓練方法をさらに改善していきたいとしている。