グルっと回ってスマホで自撮りするだけで、写真を後から再照明する技術 米ワシントン大と米Adobeが開発:Innovative Tech
米ワシントン大学と米Adobeの研究チームは、1台のスマートフォンを持ち、その場で回りながら自分を動画撮影するだけで、ポートレート写真のリライティングができる手法を開発した。
Innovative Tech:
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
米ワシントン大学と米Adobeの研究チームが開発した「SunStage: Portrait Reconstruction and Relighting using the Sun as a Light Stage」は、1台のスマートフォンを持ち、その場で回りながら自分を動画撮影するだけで、ポートレート写真のリライティングができる手法だ。1回撮影した動画だけで、被写体に対して太陽の位置や明るさ、肌の反射率、影の緩和などを後から編集できる。
直射日光の下では、影が濃くなりシワなどの細部が強調されるため、滑らかで均一な照明を含むポートレート写真を撮影するのは困難である。プロの写真家だとリフレクターや精巧な照明セットアップなどを使用するが、一般の人がスマートフォン1台で撮影する環境では利用できない。
そこでソフトウェアを使用して撮影後のデータを加工する方法が考えられるが、その多くは「light stage」(大量のカメラとライトを同期させて全方位から人物の形状や質感を高精度に撮影できるドーム型システム)からのデータに依存しているため現実的ではない。
このような制約を解決するために、ハードウェアや人を追加することなく、スマートフォン1台でポートレート写真をリライティングできる手法を提案する。
ユーザーはスマートフォンを持った手を伸ばし、その場で回りながら内蔵カメラで自分の顔を動画撮影するだけで行える。この撮影では、さまざまな角度で入射する太陽光の下で観察された顔から、光源によって動く鏡面ハイライトや影などがキャプチャーできる。シワなどの細部の反射も捉える。
システムは、太陽の下で回転する自撮り映像のビデオシーケンスから、顔のランドマーク、形状、アルファマット、アルベド、カメラの向きといった情報を抽出し、これらから再構成したパラメーターを用い、シーンや被写体を修正することでリライティングした画像を出力する。
このシステムによって次のような編集が行える。太陽の明るさや位置、色の変更、朝や夕方などの時間帯の変更、皮膚の反射率、任意の環境マップによる再照明、厳しい照明条件の改善(影の緩和やフィルライトの追加)、カメラパラメータの調整による視点変更(新規ビュー合成で顔の角度を少し変更できる)やパースペクティブ効果(顔をズームイン/アウト)の操作など。これらは、さまざまなモバイルアプリケーションに応用できるだろう。
Source and Image Credits: Wang, Y., Holynski, A., Zhang, X., & Zhang, X.C. (2022). SunStage: Portrait Reconstruction and Relighting using the Sun as a Light Stage.
関連記事
- キャラクターを逆光背景に溶け込むように合成できるシステム 中京大が開発
中京大学濱川研究室の研究チームは、逆光の背景画像と前景となるキャラクターを調和するように合成する自動システムを開発した。背景の光源に合わせて、陰影・輝度値・色を調整し背景画像に溶け込むようにキャラクターを加工する。 - 合成背景に人が溶け込むよう照明を調節する技術 Googleが開発
異なる背景シーンに合成するときに問題となる照明の処理。これをリアルに合成する手法。 - 写真内の物体を3Dモデルに変換するシステム、米Snapらの研究チームが開発
米南カリフォルニア大学(USC)と、写真共有アプリ「Snapchat」などを開発する米Snapの研究チームは、さまざまな時間や場所、照明条件で撮影した画像から、対象物を抽出し3Dモデルに変換するシステムを開発した。 - 握力を増強できるバナナみたいな手袋、米MITなどが開発 編物の人工筋肉を空気で膨張
米MIT CSAILと米Tencent Americaの研究チームは、センシング機能を搭載した織物ベースのソフトな空気圧アクチュエータを開発した。 - マインクラフトの世界をリアルな世界に変換する「GANcraft」 NVIDIAなどが開発
NVIDIAと米Cornell Universityの研究チームは、マインクラフトなどのボクセルベースの大規模な世界を写実的な画像に変換する手法を開発した。土や砂、草木、雪、海、空などをリアルに表現し、見る視点を移動しても一貫した画像を提供する。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.