DeepMindのAI、マルチプレーヤーゲームで人間以上のチームワークを発揮
DeepMindが、マルチプレーヤーFPS「Quake III Arena」で複数のAIエージェントを訓練したところ、人間のプレーヤーより強くなっただけでなく、勝つためにチームメンバーと協力し合うようになったという論文を発表した。
米Alphabet傘下のDeepMindは7月3日(現地時間)、3DのマルチプレーヤーFPS(ファーストパーソンシューター)ゲーム「Quake III Arena」を使ったAIの強化学習開発の成果を発表した。
FTW(For The Win)と名付けたAIエージェントを複数同時に訓練していった結果、エージェント同士で協力し合うようになり、人間のプレーヤーより強くなった。エージェントは人間のプレーヤーとも協力できる。
実験では、Quake III Arenaの「Capture the Flag(CTF)」ルールで訓練した。CTFは、複数のプレーヤーが2組のチームに分かれて与えられたマップ上で、自分の陣地の旗を守りつつ相手の陣地にある旗を奪い合うゲーム。DeepMindはこの実験でプレイごとにマップを書き換えることで、新たな戦略を学ばなければならないようにした。
FTWはマップを解析し、相手と味方の動きも把握する必要がある。下図は、FTWのアーキテクチャの概念図。高速および低速のタイムスケールでリカレントニューラルネットワーク(RNN)を結合し、共有メモリモジュールを含み、ゲームポイントから内部報酬への変換を学習させた。
DeepMindは40人の人間も参加するトーナメントを開いた。その中で、FTWは人間のような行動を示した。例えば自分の陣地を守ったり、敵が自分の陣地を攻撃している間、敵の陣地で待機したり、他のチームメンバーの後について行動したりするようになったのだ。
この実験では、CTFにフォーカスしてはいるが、研究成果は普遍的であり、「われわれが論文(リンク先はPDFダウンロード)で公開したテクニックを使って他の人々がCTF以外の複雑な環境で何を構築するのか楽しみだ」という。将来的には、現在の強化学習とエージェントの集団訓練方法をさらに改善していきたいとしている。
関連記事
- GoogleとVerily、ディープラーニングと網膜眼底画像による心血管リスク予測法を発表
Googleと系列の生命科学企業Verilyが、網膜眼底画像から心血管リスクを予測するためのディープラーニングモデルを開発した。心筋梗塞や脳卒中などをCTスキャンなどの検査なしで早期発見できるとしている。 - MicrosoftのAIが「ミズ・パックマン」で全面クリア
Microsoftのディープラーニングチームが開発したAIが、「パックマン」より複雑な「ミズ・パックマン」の最高スコア、201面での999,999点を打ち出した。 - DeepMind、3DゲームのようなAI開発プラットフォーム「DeepMind Lab」をオープンソース化
Alphabet傘下のDeepMindが、ファーストパーソン3Dゲームのような人工知能(AI)研究開発プラットフォーム「DeepMine Lab」をオープンソースで公開すると発表した。OpenAIの「Universe」は2Dだが、こちらは3D環境だ。 - Googleの人工知能「DQN」、アタリゲームで人間よりハイスコア叩き出す
Google傘下の人工知能企業DeepMindが、ブロック崩しなどのビデオゲームのルールをほぼゼロから学習し、人間よりハイスコアを獲得するまでに成長する人工知能アルゴリズム「DQN」に関する論文をNatureで発表した。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.