Innovative Tech
ペラペラ曲がる紙に合わせて映像合成 NVIDIAなどが技術開発
Innovative Tech：
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
香港中文大学、中国浙江大学、米NVIDIAによる研究チームが開発した「LIFE: Lighting Invariant Flow Estimation」は、動画内の画像を別の画像や映像に変換できるオプティカルフロー推定（動く対象物の各画素がどの位置に移動したかを数値で表す各画素の移動量のこと）のための深層学習フレームワークだ。
カメラの視点や照明が大きく異なっても安定して画像を変換できる。また複雑に曲がる紙のような表面に対してもズレたり乱れたりせず、ぴったり貼り付いているかのような画像合成ができる。
紙の表面が複雑に変形しても映像がそれに応じて変形し続けている様子
動画内の一部分の対象だけ別の画像に変更し、カメラ視点が移動してもそれに応じて常に貼り付いているかのように表示し続ける技術の中でも、動く対象を機械学習でオプティカルフロー推定し特徴量マッチングする手法は精度が高いことが知られている。
しかしカメラ視点が大きく変わるシーンやモーションブラー、照明の変化が大きい場合は、その精度は著しく低下する。複雑な変形を伴う紙の場合も画像が乱れてしまう。
これら課題に挑戦するため、研究チームはカメラ視点や照明変動が大きい場合でも安定して画像を変換できる、オプティカルフロー推定のための弱教師あり学習フレームワークを構築した。画像間の相対的なカメラポーズを推定し、画像間の特徴量マッチングを行う。
有効性を評価するため、A4サイズの用紙に印刷した絵画に他の画像を変換する実験を行った。他の類似手法と比較した結果、どの手法よりも安定した変換を実現したという。プロジェクトページにて比較映像を確認できる。
この手法は、相対的な姿勢、視覚的な位置の特定、ホモグラフィ変換、AR（拡張現実）など、画像間の対応関係の確立を必要とするさまざまなアプリケーションにも適応できるという。
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
こんなメディアも見られています
ITmedia NEWSに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
本日の新着記事
アクセスランキング
-
1
「Xが情報収集に役立たない……」熊本地震で不満の声続出 「Twitterを返して」
-
2
メルカリ、梨の転売疑惑に「盗品の出品は確認されず」 誹謗中傷には利用制限も
-
3
「こんなのに追われたら……」急斜面もやすやす爆走、中国製の車輪付き四足ロボのデモ動画が話題 最高時速20km超
-
4
検索結果に「詐欺ではありません」と表示させる詐欺手口、警視庁が注意喚起 AI要約も餌食に
-
5
はてな、11億円流出の調査報告書を公開 偽警察、口外禁止、残業・休出200時間超、孤立……ほころびが連鎖
-
6
Z世代に聞く次の流行、「AIイラスト」が1位に 「Claude Code」も上位
-
7
東野圭吾さん死去、Xなどで追悼相次ぐ 「ガリレオ」など数々の人気作、エンジニアから転身
-
8
NVIDIAやMicrosoftなど30社超、オープンAIの防御ツール共同開発の「Open Secure AI Alliance」設立
-
9
農水省の“クソダサ”ポスター話題 「AIよりよっぽど良い」の声も 担当者に狙いを聞いた
-
10
「あ、その情報メモしたい！」を叶えるワイヤレスイヤフォン、Nothing「Ear (3a)」
ITmedia NEWS SNS
@itmedia_newsをフォロー
インフォメーション
注目情報をチェック
ITmediaNEWSをフォロー
あなたにおすすめの記事PR