ITmedia NEWS
業界動向
フェンシング剣の軌跡、AIと4Kカメラで捕まえた　“ライトセーバー”みたいな可視化技術、約5年間の開発秘話

フェンシング剣の軌跡、AIと4Kカメラで捕まえた　“ライトセーバー”みたいな可視化技術、約5年間の開発秘話（2/3 ページ）

公開 2021年08月14日 11時00分

更新 2021年08月16日 02時53分

著者

樋口隆充

[ITmedia]

印刷する

前代未聞の「マーカーレス」での可視化

　五輪本番での実用化に向け、プロジェクトが始まったが、フェンシング協会の熱意とは裏腹にいきなり大きな壁に直面する。それはマーカーなしでどう軌跡を可視化するのかという点だ。当初は、国際フェンシング連盟と調整し、剣先にマーカーを取り付けられるようルール変更を模索したが、結果的に断念した。

　 14年のエキシビションマッチで、招致映像と同様の取り組みを観客に披露したが、当時は剣先にマーカーを装着して可視化を実現した。ルール変更ができない以上、スピードが求められる公式戦の舞台で実戦導入するには「マーカーレス」かつリアルタイムでの可視化がプロジェクトを通じての大きな“敵”となった。

　真鍋さんから現場の技術開発を引き継いだ花井さんは「マーカー付きなら既存のトラッキングシステムで剣先を見つけ、合成できるため可視化は比較的簡単だが、マーカーを外した瞬間に可視化の難易度が非常に上がる。本当に一筋縄ではいかないと感じた」と当時を振り返る。

インタビューに応じる花井さん

　可視化するには、まず剣先を捕捉しなければならない。そこで花井さんは画像解析に着目。画像の明るさの情報を使い、剣先を検出するという原始的な画像解析のアルゴリズムを試したが「使い物にならなかった」という。その後もなど試行錯誤を重ねるも、思ったような成果が出ず、時間だけが過ぎた。

2016年当時の実験動画。思うような成果が出なかった

ディープラーニングがブーム、大きな転機に

　リオ五輪が閉幕し、世間の注目は東京五輪に移った。大会本番が近づき、花井さんに焦りが出る中、17年頃に花井さんの周囲で深層学習がプチブームに。既に、オープンソースの画像処理ライブラリ「OpenCV」などを使い「できることは全てやっていた」と花井さん。「これしかない」――。苦労の末、ようやくプロトタイプが完成した。

　深層学習という新たなアプローチを採用した花井さん。剣先の検出という点では一歩前進したが、当時の手法では軌跡の合成に必要な精度が出なかった。

　そこで、翌18年には使用する物体認識のアルゴリズムを変更。トラッキングするエリアも中央部分に限定したところ、単純な動きのみではあるが、ようやくマーカーレスとリアルタイムの可視化に成功した。

トラッキング方法も“フェンシング仕様”に　2段階で検出

　実戦に導入するには、あらゆる場面を想定する必要がある。トラッキングのアプローチにも試行錯誤を重ねた。フェンシングの剣は細く、よく曲がるため、通常の物体よりも検出が難しい。競技特性を踏まえて“フェンシング仕様”にカスタマイズし、2段階構成で剣先を検出する仕組みにシフトした。具体的には4K画像から剣全体を切り出した上で、剣先を検出することで4Kの解像度を失うことなく、リアルタイムで正確に、剣の動きをトラッキングできるという。

　当初は従来の画像認識のアルゴリズム通り、剣先のみを検出する手法だったが「リサイズした小さい画像から一発で剣先のみを見つけるのは難しい」と花井さん。4K画像をリアルタイムで分析するには時間がかかるため、解像度を下げなければならないという、ハードウェア側の技術的な制約も、検出方法を変更した一因だという。

20万枚以上の静止画からなるデータセットで深層学習

　AIの検出精度向上には、深層学習に使う教師データセットが重要な役割を担う。このため、フェンシング協会の全面協力の下、12人の選手の動きを複数の照明条件で撮影した20万枚以上の静止画からなるデータセットを新たに作成。あらゆる条件を想定した100万枚以上のCGのデータセットも作成し、AIに学習させた結果、実戦で使えるような水準でのマーカーレスでの検出方法を確立した。

　その後、実戦経験を積むため、システムを19年の全日本選手権の会場に試験導入。同システムによる可視化映像のテレビ放映も実現した。試合映像も学習に活用し、19年末にようやくシステムが完成。本格的な開発開始から約5年の歳月をかけ、五輪本番での導入につなげた。五輪本番では、剣先の軌跡を簡易的に3D化する取り組みにも挑戦した。