MinecraftをAIがプレイ、10分で「ダイヤモンドのツルハシ」を高速作成 米OpenAIが技術開発:Innovative Tech
米OpenAIの研究チームは、人間がプレイするMinecraft(マインクラフト)の映像から複雑な動作を学習するモデルを開発した。学習したモデルは、熟練した人でも20分以上かかるダイヤモンドツールの作成を10分程度で成し遂げ、その有効性を示した。
Innovative Tech:
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
米OpenAIの研究チームが開発した「Video PreTraining (VPT): Learning to Act by Watching Unlabeled Online Videos」は、人間がプレイするMinecraft(マインクラフト)の映像から複雑な動作を学習するモデルだ。学習したモデルは、熟練した人でも20分以上かかるダイヤモンドツールの作成を10分程度で成し遂げ、その有効性を示した。
人がプレイしたマインクラフトのプレイ動画がWeb上に多く存在する。今回のモデルはこの膨大な動画データで学習するわけだが、これら動画からは何が起きたかが分かるだけで、マウスの動きやキーの押し順を正確に知ることはできない。つまり、ラベルが付いていない。
そこで研究チームは半教師あり模倣学習「Video PreTraining 」(VPT)を開発し、この課題に挑戦する。
VPTではエージェントがラベルなし動画データを直接学習するのではなく、まず少量のラベル付き動画データ(100時間程度)を使用し、動画の各ステップで実行されるマウスの動きとキーの押し順を予測するモデル「Inverse Dynamics Model」(IDM)を学習する。次に、学習したIDMで膨大なラベルなし動画データ(サバイバルモードのみ約7万時間)を学習して複雑な行動を習得する。
学習したVPTは映像の各ステップで取られた行動とマウスの動き、キーの押し順を予測する。ここでいう行動とは、「豚を狩って食べる」「ジャンプを繰り返して自分の下にブロックを置き自分を高くする」「原木を集めて作業台を作る」など複雑な動作を指す。
研究チームはモデルの有効性を評価するため、強化学習で微調整を行いサバイバルモードでダイヤモンドのツルハシを作成するという実験を行った。ダイヤモンドのツルハシを作るには、長くて複雑な一連のサブタスクが必要である。原木集めから始まり、作業台、木のツルハシ、石、石のツルハシ、かまど、鉄鉱石、鉄、鉄のツルハシ、ダイヤモンドと段階を踏んでダイヤモンドのツルハシが作れるようになる。
その結果、10分でダイヤモンドのツルハシの作成に成功した。通常このタスクを人間が行うと、平均20分以上(2万4000アクション)かかるそうで、2倍以上の速度で達成したことになる。
この結果から、Web上にある膨大な量のラベルなし動画データを効率よく学習できることが分かった。またマウスの動きとキーの押し順は一般的な人のインタフェースであり、他への応用も良好な結果を生み出す可能性が示された。
Source and Image Credits: Bowen Baker, Ilge Akkaya, Peter Zhokhov, Joost Huizinga, Jie Tang, Adrien Ecoffet, Brandon Houghton, and Raul Sampedro.“Video PreTraining (VPT): Learning to Act by Watching Unlabeled Online Videos”
Copyright © ITmedia, Inc. All Rights Reserved.
関連記事
マインクラフトの世界をリアルな世界に変換する「GANcraft」 NVIDIAなどが開発
NVIDIAと米Cornell Universityの研究チームは、マインクラフトなどのボクセルベースの大規模な世界を写実的な画像に変換する手法を開発した。土や砂、草木、雪、海、空などをリアルに表現し、見る視点を移動しても一貫した画像を提供する。「メタバース」「電子工作」「サーバ管理」を一挙に体験できる“マイクラ”の魅力 そのIT要素を一挙紹介
世界で最も売れたインディーズゲームとも呼ばれる「Minecraft」は、ただの遊びと言うにはIT要素が多い。メタバースや電子工作、サーバ管理などMinecraftで感じられるIT要素を紹介する。ジョジョのキャラクター風に顔写真を変換する「JoJoGAN」 1枚の画像からAIが学習
米イリノイ大学アーバナ・シャンペーン校の研究チームは、入力した1枚の顔画像を漫画「ジョジョの奇妙な冒険」のキャラクター風に変換する機械学習フレームワークを開発した。「空条承太郎」など、作中のキャラクターに似せた顔に変換する。古い白黒映画を“昨日撮影したかのように”AIが修復 フィルムノイズを除去しカラー
香港城市大学と米Microsoft Research、Microsoft Cloud+AIによる研究チームは、劣化の激しい古い白黒映画を修復しカラー映像に変換する深層学習フレームワークを開発した。古い映像にある独特のフィルムノイズなどを修復し、色付けを行う。「マイクラ」たいまつ型ライト発売 手持ち・壁掛けOK
「マインクラフト」の「たいまつ」型ライトが発売。サイズ、デザインとも、ゲームをリアルに再現。