フェンシング剣の軌跡、AIと4Kカメラで捕まえた “ライトセーバー”みたいな可視化技術、約5年間の開発秘話(2/3 ページ)
フェンシングの剣の軌跡を可視化する技術が東京五輪で注目された。AIと4Kカメラを用いることで軌跡が映画「スターウォーズ」に登場する武器「ライトセーバー」のように光り輝くのだ。約5年間に渡る開発秘話を制作チームに聞いた。
前代未聞の「マーカーレス」での可視化
五輪本番での実用化に向け、プロジェクトが始まったが、フェンシング協会の熱意とは裏腹にいきなり大きな壁に直面する。それはマーカーなしでどう軌跡を可視化するのかという点だ。当初は、国際フェンシング連盟と調整し、剣先にマーカーを取り付けられるようルール変更を模索したが、結果的に断念した。
14年のエキシビションマッチで、招致映像と同様の取り組みを観客に披露したが、当時は剣先にマーカーを装着して可視化を実現した。ルール変更ができない以上、スピードが求められる公式戦の舞台で実戦導入するには「マーカーレス」かつリアルタイムでの可視化がプロジェクトを通じての大きな“敵”となった。
真鍋さんから現場の技術開発を引き継いだ花井さんは「マーカー付きなら既存のトラッキングシステムで剣先を見つけ、合成できるため可視化は比較的簡単だが、マーカーを外した瞬間に可視化の難易度が非常に上がる。本当に一筋縄ではいかないと感じた」と当時を振り返る。
可視化するには、まず剣先を捕捉しなければならない。そこで花井さんは画像解析に着目。画像の明るさの情報を使い、剣先を検出するという原始的な画像解析のアルゴリズムを試したが「使い物にならなかった」という。その後もなど試行錯誤を重ねるも、思ったような成果が出ず、時間だけが過ぎた。
ディープラーニングがブーム、大きな転機に
リオ五輪が閉幕し、世間の注目は東京五輪に移った。大会本番が近づき、花井さんに焦りが出る中、17年頃に花井さんの周囲で深層学習がプチブームに。既に、オープンソースの画像処理ライブラリ「OpenCV」などを使い「できることは全てやっていた」と花井さん。「これしかない」――。苦労の末、ようやくプロトタイプが完成した。
深層学習という新たなアプローチを採用した花井さん。剣先の検出という点では一歩前進したが、当時の手法では軌跡の合成に必要な精度が出なかった。
そこで、翌18年には使用する物体認識のアルゴリズムを変更。トラッキングするエリアも中央部分に限定したところ、単純な動きのみではあるが、ようやくマーカーレスとリアルタイムの可視化に成功した。
トラッキング方法も“フェンシング仕様”に 2段階で検出
実戦に導入するには、あらゆる場面を想定する必要がある。トラッキングのアプローチにも試行錯誤を重ねた。フェンシングの剣は細く、よく曲がるため、通常の物体よりも検出が難しい。競技特性を踏まえて“フェンシング仕様”にカスタマイズし、2段階構成で剣先を検出する仕組みにシフトした。具体的には4K画像から剣全体を切り出した上で、剣先を検出することで4Kの解像度を失うことなく、リアルタイムで正確に、剣の動きをトラッキングできるという。
当初は従来の画像認識のアルゴリズム通り、剣先のみを検出する手法だったが「リサイズした小さい画像から一発で剣先のみを見つけるのは難しい」と花井さん。4K画像をリアルタイムで分析するには時間がかかるため、解像度を下げなければならないという、ハードウェア側の技術的な制約も、検出方法を変更した一因だという。
20万枚以上の静止画からなるデータセットで深層学習
AIの検出精度向上には、深層学習に使う教師データセットが重要な役割を担う。このため、フェンシング協会の全面協力の下、12人の選手の動きを複数の照明条件で撮影した20万枚以上の静止画からなるデータセットを新たに作成。あらゆる条件を想定した100万枚以上のCGのデータセットも作成し、AIに学習させた結果、実戦で使えるような水準でのマーカーレスでの検出方法を確立した。
その後、実戦経験を積むため、システムを19年の全日本選手権の会場に試験導入。同システムによる可視化映像のテレビ放映も実現した。試合映像も学習に活用し、19年末にようやくシステムが完成。本格的な開発開始から約5年の歳月をかけ、五輪本番での導入につなげた。五輪本番では、剣先の軌跡を簡易的に3D化する取り組みにも挑戦した。
「技術的なハードルは高かったが達成感があり、個人的に関われてよかった。今後は技術的な部分も公開し、システムをより多くの人に知ってもらいたい。2Dと3Dを組み合わせた表現方法の改善にも取り組みたい」(花井さん)
関連記事
- 「選手村ベッド破壊動画」で謝罪の五輪選手、熱海土砂災害の支援金を募りクラウドファンディング
選手村の段ボール製ベッドを破壊する動画で批判を集めて謝罪した、イスラエルのベンジャミン・ワンガー選手が、熱海土砂災害の支援金を募るクラウドファンディングを始めた。目標金額は3000ドルで、寄付金は全額熱海市に送られる。 - 選手村のベッド破壊動画が波紋も、メーカーは「SNSで発信してくれるのはありがたい」
イスラエルの五輪代表選手たちが選手村の段ボール製のベッドで飛び跳ね、破壊する動画が波紋を広げている。メーカーのエアウィーヴは「SNSで発信してくれるのはとてもうれしい」とツイートした。 - 自分の姿勢を“五輪風ピクトグラム”に エンジニアが個人開発、GitHubでソースコード公開
自分の動きや姿勢を、カメラを通して“五輪風ピクトグラム”にするソフトに注目が集まっている。作者はソースコード共有サイト「GitHub」にコードを公開している。 - 「定時ダッシュ」「仕事の丸投げ」──ピクトグラムがTwitterに続々 五輪開会式の“演技”に触発
7月23日に東京オリンピック(東京五輪)の開会式以降、ドローンとともに、簡単な絵で情報を表す「ピクトグラム」がネット上で注目を集めている。開会式でのパントマイムパフォーマンスが反響を呼んだためで、これに触発されたピクトグラム作品が続々公開されている。 - 五輪開会式のドローン演出、どんな仕組みで実現? 提供元のIntelに聞く
五輪開会式で話題になったドローンパフォーマンス。どんな仕組みなのか、提供元のIntelの担当者に聞いた。
Copyright © ITmedia, Inc. All Rights Reserved.