自撮り画像を他人が撮ったように変換する技術「Unselfie」 Adobeなど開発：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　ベルギーのルーベン・カトリック大学、米Adobe Research、米カリフォルニア大学バークレー校による研究チームが開発した「Unselfie」（アンセルフィー）は、手を伸ばして自撮りした写真を、別の人が撮影したポートレート写真のように変換する、教師データを半自動生成する「自己教師あり学習」（Self-Supervised Learning）によるフレームワークだ。

自撮り撮影による腕が伸びた画像を、他人が撮影したようなポーズに変換する

　自撮りすると、カメラを持った腕を伸ばすため姿勢が崩れ、自撮りした写真だと分かってしまう。この不自然さをなくして、自分以外の誰かが撮影したかのように変換するのが目的だ。

　具体的には、カメラを持った腕を下に移動させ、肩と胴体のポーズを調整し、服の細部を調整、最後に空いた背景領域を埋めるタスクを実行する。

　モデルは、3段階で構成される。

1. 自撮り画像の胴体上部のポーズに近いニュートラルなポーズを見つけ、2つのポーズ間の対応関係に基づいて、自撮り画像のピクセルを目標ポーズの可視領域にマッピングする。
2. 人体のテクスチャを合成するための座標ベースのインペイントモデルを学習する。
3. 最終段階では、ポーズの変化に伴う身体領域の細部の合成と不自然な部分の修正、背景の穴埋め、合成した身体を元の画像に合成するための学習を行う。

　全ての段階で、人間の姿勢を2D画像から推定し、人体の表面にテクスチャマッピングできる「DensePose」を使用している。また、学習に必要なペアになっている自撮り画像データがないため、最初にペアになっているデータを合成して使用する。

Unselfieのパイプライン

　これにより学習したモデルを用いることで、手を伸ばして自分を撮影した写真でも、後から第三者のカメラマンが撮ったような自然な画像を生成できるようになる。

（左列）入力画像（残り）さまざまなポーズの出力結果

　学習したモデルを評価するために他のAIモデルと比較した結果、定性的にも定量的にも優位性を示したという。

（左列）入力画像（中央列）類似研究の出力結果（右列）本手法の出力結果