Innovative Tech:
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
米スタンフォード大学の研究チームが開発した「Vid2Player」は、一般的に放送されているテニスの試合映像を解析することで、テニス選手を自由に動かせるようにする合成技術だ。
デモでは、テニスの国際大会の1つであるウィンブルドン選手権をサンプルに、テニス選手を入れ替えて対戦させる、選手をゲームのように操作する映像(ボールを打った後の落下点を制御して選手を動かす)を作り上げている。入れ替えた選手は映像に溶け込んでおり、リアルな動きと調和している。
上から下へショットの時間的経過を表示。相手がボールを打つと同時に選手が準備状態になるところから始まる。次に、選手はボールを打つために移動し、ボールがコートの相手側に着地するようにボールを打つ(ボールに接触する)。ショットの後、選手は相手の次のショットに備えてコート内の新しい位置で準備状態に戻る
ボールに接触した時間と場所、ストロークの種類を注釈したテニス映像のデータベースを入力として扱う。データベースには各選手の数千ショットが記録されており、選手とボールの軌跡を利用して、選手がコート上でどのように自分の位置を決めているか、特定の相手との状況でボールを打つ可能性が高い場所についての行動モデルを構築する。
(左)手前のノバク・ジョコビッチ選手がロジャー・フェデラー選手と、(右)ラファエル・ナダル選手と対戦している。両者に対してバックハンドを打つ時にどこにボールを打つか(ショットの配置)と自分の位置(打った後の次の行動に向けての位置)を視覚化している
これらの動作モデルにより、アニメーションシステムのコントロールが可能となる。
ビデオクリップで選手の外観が異なる問題に対処するため、CycleGANによる学習を反映して画像を補正している。
さらに、ロジャー・フェデラー選手がセリーナ・ウィリアムズ選手と対戦したり、フェデラー選手が自分と対戦したりするような、実際には対戦していない選手同士の試合を生成できる。また、選手の行動目標をインタラクティブに制御できるため、ウィンブルドン決勝戦での選手の動きをインタラクティブに操作する、新たなスポーツエンターテインメントやコーチング、戦術策定などの新しい体験も可能となる。
モデルの出力は、一般的なラケットスポーツの原則に沿っており、卓球、バドミントンなどのスポーツにも適用可能であるとしている。
関連記事
- 好きな味を合成してなめられる“味覚シンセサイザー” 明大教授が開発
甘味、酸味、塩味、苦味、うま味のパラメーターを制御してなめられる、ちょっと変わったデバイス。 - 香料噴霧すれば火もまた涼し? 温冷覚を錯覚させる装置、シカゴ大が開発
匂いで酷暑も乗り切れる? - 「あの人、角を曲がった先でどんな格好してるだろう」を推定する技術 カーネギーメロン大学が開発
死角にある人の動きを強化学習で推定する技術が開発された。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.