セリーナ対フェデラー？ 夢のテニスマッチをビデオ合成できる新技術、スタンフォード大が開発：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　米スタンフォード大学の研究チームが開発した「Vid2Player」は、一般的に放送されているテニスの試合映像を解析することで、テニス選手を自由に動かせるようにする合成技術だ。

　デモでは、テニスの国際大会の1つであるウィンブルドン選手権をサンプルに、テニス選手を入れ替えて対戦させる、選手をゲームのように操作する映像（ボールを打った後の落下点を制御して選手を動かす）を作り上げている。入れ替えた選手は映像に溶け込んでおり、リアルな動きと調和している。

上から下へショットの時間的経過を表示。相手がボールを打つと同時に選手が準備状態になるところから始まる。次に、選手はボールを打つために移動し、ボールがコートの相手側に着地するようにボールを打つ（ボールに接触する）。ショットの後、選手は相手の次のショットに備えてコート内の新しい位置で準備状態に戻る

　ボールに接触した時間と場所、ストロークの種類を注釈したテニス映像のデータベースを入力として扱う。データベースには各選手の数千ショットが記録されており、選手とボールの軌跡を利用して、選手がコート上でどのように自分の位置を決めているか、特定の相手との状況でボールを打つ可能性が高い場所についての行動モデルを構築する。

（左）手前のノバク・ジョコビッチ選手がロジャー・フェデラー選手と、（右）ラファエル・ナダル選手と対戦している。両者に対してバックハンドを打つ時にどこにボールを打つか（ショットの配置）と自分の位置（打った後の次の行動に向けての位置）を視覚化している

　これらの動作モデルにより、アニメーションシステムのコントロールが可能となる。

システムの概要図

　ビデオクリップで選手の外観が異なる問題に対処するため、CycleGANによる学習を反映して画像を補正している。

（上段行）合成する映像（中央行）合成したい選手（下段行）CycleGANにより学習した補正後の合成画像。左では光の当たり方が調整され、右では長袖に加工されている

　さらに、ロジャー・フェデラー選手がセリーナ・ウィリアムズ選手と対戦したり、フェデラー選手が自分と対戦したりするような、実際には対戦していない選手同士の試合を生成できる。また、選手の行動目標をインタラクティブに制御できるため、ウィンブルドン決勝戦での選手の動きをインタラクティブに操作する、新たなスポーツエンターテインメントやコーチング、戦術策定などの新しい体験も可能となる。

　モデルの出力は、一般的なラケットスポーツの原則に沿っており、卓球、バドミントンなどのスポーツにも適用可能であるとしている。