Innovative Tech
好きな視点と照明でリアルな合成画像 Googleなど「Neural Light Transport」開発
Innovative Tech：
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
マサチューセッツ工科大学（MIT）、Google、カリフォルニア大学サンディエゴ校による米研究チームが開発した「Neural Light Transport 」（NLT）は、全身のライティング変更と多視点合成を同時に行う深層学習フレームワークだ。任意のカメラ位置と照明環境下でフォトリアリスティックな全身画像を合成する。
NLTは好きな視点と照明環境から、それに適応したフォトリアリスティックな全身画像を合成する
今回の手法は、全方位に複数の照明とカメラを配置した球形ドーム型キャプチャーシステム「LightStage」よって捉えた全身のOLAT（One-Light-at-A-Time）画像セットから直接学習することで、照明を自由に制御した任意の多視点全身画像を生成する。
アーキテクチャ
メッシュとテクスチャアトラスが提供するUVテクスチャ空間に2つのパスからなる深層学習ネットワークを埋め込み、そのモデルを学習して光と視点の方向に対応するテクスチャ空間のRGB画像を合成する。学習したモデルは、任意の方向の光で被写体を正確にライティングできる。
HDRIリライティング
ライティング変更と多視点合成を同時に行うことで、見えていない視点と任意の光の方向に対して正確なレンダリングが行える。
リライティングとビュー合成を同時に実行した出力結果
複数の定性的・定量的実験を行ったところ、今回の手法は従来のライティング変更や多視点合成のソリューションを上回ったとしている。
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
こんなメディアも見られています
ITmedia NEWSに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
本日の新着記事
アクセスランキング
-
1
メルカリ、梨の転売疑惑に「盗品の出品は確認されず」 誹謗中傷には利用制限も
-
2
Anthropic、「Claude Opus 5」公開 Fable 5に迫る性能を半額で――サイバー安全策は緩和、拒否時は自動フォールバックも
-
3
「iPhone高騰」はこれからも続く？ 中国CXMTに近づくApple、メモリ競合へのけん制が不発に終わりそうなワケ【後編】
-
4
「ニューロマンサー」実写ドラマ、Apple TV+で2027年1月配信開始へ
-
5
検索結果に「詐欺ではありません」と表示させる詐欺手口、警視庁が注意喚起 AI要約も餌食に
-
6
「こんなのに追われたら……」急斜面もやすやす爆走、中国製の車輪付き四足ロボのデモ動画が話題 最高時速20km超
-
7
海外の新作バカゲー「電車アタック」にマンガ家が感心した理由 ブッ飛んだ内容と完成度の高さ、そして“日本”
-
8
「めっちゃカメレオン」公式Discord乗っ取り 担当者PCがマルウェア感染、管理者が全員BANに 現在は復旧
-
9
暑さ対策が熱い！ 「猛暑対策展」で感じた、転んでもただでは起き上がらない日本人のエネルギー
-
10
スーパーに並んだ「ごちゃごちゃ生成AIポップ」が物議 “看板王”こと、きぬた歯科院長「これはアリ」
ITmedia NEWS SNS
@itmedia_newsをフォロー
インフォメーション
注目情報をチェック
ITmediaNEWSをフォロー
あなたにおすすめの記事PR