フェンシング剣の軌跡、AIと4Kカメラで捕まえた “ライトセーバー”みたいな可視化技術、約5年間の開発秘話(1/3 ページ)
フェンシングの剣の軌跡を可視化する技術が東京五輪で注目された。AIと4Kカメラを用いることで軌跡が映画「スターウォーズ」に登場する武器「ライトセーバー」のように光り輝くのだ。約5年間に渡る開発秘話を制作チームに聞いた。
8月8日に閉幕した東京五輪で、日本代表が「エペ」の団体で史上初の金メダルを獲得するなど、盛り上がりを見せたフェンシング。選手の活躍に注目が集まる一方で、ロンドン五輪の銀メダリストでもある、日本フェンシング協会の太田雄貴前会長がTwitterに投稿した動画も注目された。試合会場のバックスクリーンに映る試合映像を見ると、剣先が映画「スター・ウォーズ」に登場する武器「ライトセーバー」のように光り輝き、軌跡が可視化されているのだ。
映画の1シーンのような演出に注目が集まったが、東京五輪では競技会場内のみでの利用にとどまった。
無観客とならなければ、試合直後にスター・ウォーズのようなリプレイ映像を多くの人が目にしたはずだ。この演出はどのように実現したのか。Perfume のライブ演出やリオ五輪の閉会式の映像ディレクターを手掛けた、メディアアーティストの真鍋大度さんらFencing Visualizedの制作チーム担当者に話を聞いた。
細い剣先、リアルタイムにどう捉える?
物体の軌跡を可視化する技術の歴史は意外と古い。スペイン人画家のピカソは、フィルムカメラのシャッタースピードを下げ、光の軌跡を可視化した写真を撮影している。現代ではコンサートのダンスやフィギュアスケートのエキシビションなどの演出で実用化されているが、こうした事例の多くは動きを捉えるための「マーカー」を被写体に取り付けることで実現している。
これに対し、東京五輪のフェンシング競技で採用された同技術では、マーカーを使わない手法でほぼリアルタイムでの可視化に成功している。どのような仕組みなのか。
「実現のカギは、24台の4KカメラとAIのディープラーニング(深層学習)を使った、画像解析技術だ」。技術開発を担当した、花井裕也さんはこう語る。
2選手の両サイドに12台ずつカメラを配置し、死角が生まれないよう上下のアングルから動画を撮影。1フレームごとに切り出した画像から、AIが剣先の位置を特定し、その動きをトラッキング。リアルタイムでARと合成し、可視化しているという。
しかし、この形に至るまでは紆余曲折があった。開発を始めた当初はマーカー付きの剣の使用を認めるよう国際ルールの変更を模索するも、断念。マーカーを使わない方式での可視化は前例がなく、その実現には細く、動きが速い剣をどう検出するかも課題になった。
五輪招致活動での使用 高まる周囲の期待と技術者の苦悩
プロジェクトの始まりは、当時、フェンシングの普及活動をしていた太田雄貴さんが「テクノロジーでフェンシングを面白くできないか」と相談したことがきっかけだ。フェンシングは、スピーディーで迫力ある展開が魅力な反面、観客に何が起きているのか分かりにくいという課題を抱えていたためだ。
そこで、メディアアーティストの真鍋大度さん率いるライゾマティクスに白羽の矢が立ち、真鍋さんが快諾。太田さんがマーカー付きの剣を扱う様子をハイスピードカメラで撮影し、軌跡を可視化した。作成した映像を見て「軌跡自体が美しいというところにポテンシャルを感じた」と真鍋さん。その映像は五輪の招致プレゼンテーションで使用された。
招致活動に使用したことで“国際公約”になったことはもちろん、動画が好評だったことからプロジェクトの継続が決定。太田さんの熱意もあり、日本フェンシング協会もプロジェクトをバックアップするも、それが5年に及ぶ、技術者の苦難の日々の始まりでもあった。
関連記事
- 「選手村ベッド破壊動画」で謝罪の五輪選手、熱海土砂災害の支援金を募りクラウドファンディング
選手村の段ボール製ベッドを破壊する動画で批判を集めて謝罪した、イスラエルのベンジャミン・ワンガー選手が、熱海土砂災害の支援金を募るクラウドファンディングを始めた。目標金額は3000ドルで、寄付金は全額熱海市に送られる。 - 選手村のベッド破壊動画が波紋も、メーカーは「SNSで発信してくれるのはありがたい」
イスラエルの五輪代表選手たちが選手村の段ボール製のベッドで飛び跳ね、破壊する動画が波紋を広げている。メーカーのエアウィーヴは「SNSで発信してくれるのはとてもうれしい」とツイートした。 - 自分の姿勢を“五輪風ピクトグラム”に エンジニアが個人開発、GitHubでソースコード公開
自分の動きや姿勢を、カメラを通して“五輪風ピクトグラム”にするソフトに注目が集まっている。作者はソースコード共有サイト「GitHub」にコードを公開している。 - 「定時ダッシュ」「仕事の丸投げ」──ピクトグラムがTwitterに続々 五輪開会式の“演技”に触発
7月23日に東京オリンピック(東京五輪)の開会式以降、ドローンとともに、簡単な絵で情報を表す「ピクトグラム」がネット上で注目を集めている。開会式でのパントマイムパフォーマンスが反響を呼んだためで、これに触発されたピクトグラム作品が続々公開されている。 - 五輪開会式のドローン演出、どんな仕組みで実現? 提供元のIntelに聞く
五輪開会式で話題になったドローンパフォーマンス。どんな仕組みなのか、提供元のIntelの担当者に聞いた。
Copyright © ITmedia, Inc. All Rights Reserved.