“顔写真の邪魔な影”を後から消せるAI技術 UCバークレーやGoogleなどが開発：Innovative Tech

ライティングに失敗したけど二度と撮れない写真。そんな写真を修復できるかもしれない。

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　米カリフォルニア大学バークレー校、Google Research、マサチューセッツ工科大学（MIT）による研究チームは、深層学習を用いて顔写真から不要な影を除去し、明るく見せる技術「Portrait Shadow Manipulation」を開発した。

（上段）撮影環境が悪く顔に大きく影がかかったポートレート画像　（下段）不要な影を除去し、適切なライティング下で撮影したかのように補正した出力画像

　このシステムは、顔にかかった影を除去するためのニューラルネットワークと、顔の影を柔らかくして照明比を調整するためのネットワークの2つで構成される。どちらも精度の高い画像認識技術「GridNet」ベースの畳み込みニューラルネットワークアーキテクチャを用いる。

　学習は別々で行うため、2種類の訓練用データセットを用意する。1つ目は5000人の顔画像データに影を合成したデータセット。2つ目はドーム型のキャプチャー装置「Light Stage」を使って撮影した多様なライティングの顔画像データセット。Light Stageは全方位に照明とカメラを配置し、照明を調整しながら顔の形状や質感を高精度に捉えられる。この装置で撮影した画像から、影が強い画像と柔らかい画像のペアを生成し、訓練用データとする。

　学習したモデルでは、暗い顔が写る入力画像から不要な影を除去し、自然な照明になるように調整した明るい顔の画像を生成する明るく自然な画像を生成する。

（上段）不要な影を含む入力画像　（下段）影を除去し照明バランスを調整した出力画像