グルっと回ってスマホで自撮りするだけで、写真を後から再照明する技術 米ワシントン大と米Adobeが開発：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　米ワシントン大学と米Adobeの研究チームが開発した「SunStage: Portrait Reconstruction and Relighting using the Sun as a Light Stage」は、1台のスマートフォンを持ち、その場で回りながら自分を動画撮影するだけで、ポートレート写真のリライティングができる手法だ。1回撮影した動画だけで、被写体に対して太陽の位置や明るさ、肌の反射率、影の緩和などを後から編集できる。

（a）元画像、（b）照明を追加／削除して照明条件を変更した画像、（c）影を和らげた画像、（d）全く新しい環境に応じた照明条件でレンダリングした画像、（e）そばかすやステッカーを追加した画像

　直射日光の下では、影が濃くなりシワなどの細部が強調されるため、滑らかで均一な照明を含むポートレート写真を撮影するのは困難である。プロの写真家だとリフレクターや精巧な照明セットアップなどを使用するが、一般の人がスマートフォン1台で撮影する環境では利用できない。

　そこでソフトウェアを使用して撮影後のデータを加工する方法が考えられるが、その多くは「light stage」（大量のカメラとライトを同期させて全方位から人物の形状や質感を高精度に撮影できるドーム型システム）からのデータに依存しているため現実的ではない。

　このような制約を解決するために、ハードウェアや人を追加することなく、スマートフォン1台でポートレート写真をリライティングできる手法を提案する。

　ユーザーはスマートフォンを持った手を伸ばし、その場で回りながら内蔵カメラで自分の顔を動画撮影するだけで行える。この撮影では、さまざまな角度で入射する太陽光の下で観察された顔から、光源によって動く鏡面ハイライトや影などがキャプチャーできる。シワなどの細部の反射も捉える。

　システムは、太陽の下で回転する自撮り映像のビデオシーケンスから、顔のランドマーク、形状、アルファマット、アルベド、カメラの向きといった情報を抽出し、これらから再構成したパラメーターを用い、シーンや被写体を修正することでリライティングした画像を出力する。

システムの概要図

　このシステムによって次のような編集が行える。太陽の明るさや位置、色の変更、朝や夕方などの時間帯の変更、皮膚の反射率、任意の環境マップによる再照明、厳しい照明条件の改善（影の緩和やフィルライトの追加）、カメラパラメータの調整による視点変更（新規ビュー合成で顔の角度を少し変更できる）やパースペクティブ効果（顔をズームイン／アウト）の操作など。これらは、さまざまなモバイルアプリケーションに応用できるだろう。

Source and Image Credits: Wang, Y., Holynski, A., Zhang, X., & Zhang, X.C. (2022). SunStage: Portrait Reconstruction and Relighting using the Sun as a Light Stage.