フェンシング剣の軌跡、AIと4Kカメラで捕まえた “ライトセーバー”みたいな可視化技術、約5年間の開発秘話（1/3 ページ）

[樋口隆充，ITmedia]

　8月8日に閉幕した東京五輪で、日本代表が「エペ」の団体で史上初の金メダルを獲得するなど、盛り上がりを見せたフェンシング。選手の活躍に注目が集まる一方で、ロンドン五輪の銀メダリストでもある、日本フェンシング協会の太田雄貴前会長がTwitterに投稿した動画も注目された。試合会場のバックスクリーンに映る試合映像を見ると、剣先が映画「スター・ウォーズ」に登場する武器「ライトセーバー」のように光り輝き、軌跡が可視化されているのだ。

　映画の1シーンのような演出に注目が集まったが、東京五輪では競技会場内のみでの利用にとどまった。

剣先の可視化技術を使った、フェンシングのルール動画

　無観客とならなければ、試合直後にスター・ウォーズのようなリプレイ映像を多くの人が目にしたはずだ。この演出はどのように実現したのか。Perfume のライブ演出やリオ五輪の閉会式の映像ディレクターを手掛けた、メディアアーティストの真鍋大度さんらFencing Visualizedの制作チーム担当者に話を聞いた。

細い剣先、リアルタイムにどう捉える？

　物体の軌跡を可視化する技術の歴史は意外と古い。スペイン人画家のピカソは、フィルムカメラのシャッタースピードを下げ、光の軌跡を可視化した写真を撮影している。現代ではコンサートのダンスやフィギュアスケートのエキシビションなどの演出で実用化されているが、こうした事例の多くは動きを捉えるための「マーカー」を被写体に取り付けることで実現している。

　これに対し、東京五輪のフェンシング競技で採用された同技術では、マーカーを使わない手法でほぼリアルタイムでの可視化に成功している。どのような仕組みなのか。

AIを使った独自技術で剣先の軌道を可視化する（出典：ライゾマティクス公式ページ）

　「実現のカギは、24台の4KカメラとAIのディープラーニング（深層学習）を使った、画像解析技術だ」。技術開発を担当した、花井裕也さんはこう語る。

　2選手の両サイドに12台ずつカメラを配置し、死角が生まれないよう上下のアングルから動画を撮影。1フレームごとに切り出した画像から、AIが剣先の位置を特定し、その動きをトラッキング。リアルタイムでARと合成し、可視化しているという。

可視化には24台の4Kカメラを使用し、映像を解析する

　しかし、この形に至るまでは紆余曲折があった。開発を始めた当初はマーカー付きの剣の使用を認めるよう国際ルールの変更を模索するも、断念。マーカーを使わない方式での可視化は前例がなく、その実現には細く、動きが速い剣をどう検出するかも課題になった。

五輪招致活動での使用　高まる周囲の期待と技術者の苦悩

　プロジェクトの始まりは、当時、フェンシングの普及活動をしていた太田雄貴さんが「テクノロジーでフェンシングを面白くできないか」と相談したことがきっかけだ。フェンシングは、スピーディーで迫力ある展開が魅力な反面、観客に何が起きているのか分かりにくいという課題を抱えていたためだ。

　そこで、メディアアーティストの真鍋大度さん率いるライゾマティクスに白羽の矢が立ち、真鍋さんが快諾。太田さんがマーカー付きの剣を扱う様子をハイスピードカメラで撮影し、軌跡を可視化した。作成した映像を見て「軌跡自体が美しいというところにポテンシャルを感じた」と真鍋さん。その映像は五輪の招致プレゼンテーションで使用された。

インタビューに応じる真鍋大度さん

　招致活動に使用したことで“国際公約”になったことはもちろん、動画が好評だったことからプロジェクトの継続が決定。太田さんの熱意もあり、日本フェンシング協会もプロジェクトをバックアップするも、それが5年に及ぶ、技術者の苦難の日々の始まりでもあった。