Innovative Tech

自撮り画像を他人が撮ったように変換する技術「Unselfie」　Adobeなど開発

　ベルギーのルーベン・カトリック大学、米Adobe Research、米カリフォルニア大学バークレー校による研究チームが開発した「Unselfie」（アンセルフィー）は、手を伸ばして自撮りした写真を、別の人が撮影したポートレート写真のように変換する、教師データを半自動生成する「自己教師あり学習」（Self-Supervised Learning）によるフレームワークだ。

　自撮りすると、カメラを持った腕を伸ばすため姿勢が崩れ、自撮りした写真だと分かってしまう。この不自然さをなくして、自分以外の誰かが撮影したかのように変換するのが目的だ。

　具体的には、カメラを持った腕を下に移動させ、肩と胴体のポーズを調整し、服の細部を調整、最後に空いた背景領域を埋めるタスクを実行する。

　モデルは、3段階で構成される。

1. 自撮り画像の胴体上部のポーズに近いニュートラルなポーズを見つけ、2つのポーズ間の対応関係に基づいて、自撮り画像のピクセルを目標ポーズの可視領域にマッピングする。
2. 人体のテクスチャを合成するための座標ベースのインペイントモデルを学習する。
3. 最終段階では、ポーズの変化に伴う身体領域の細部の合成と不自然な部分の修正、背景の穴埋め、合成した身体を元の画像に合成するための学習を行う。

　全ての段階で、人間の姿勢を2D画像から推定し、人体の表面にテクスチャマッピングできる「DensePose」を使用している。また、学習に必要なペアになっている自撮り画像データがないため、最初にペアになっているデータを合成して使用する。

　これにより学習したモデルを用いることで、手を伸ばして自分を撮影した写真でも、後から第三者のカメラマンが撮ったような自然な画像を生成できるようになる。

　学習したモデルを評価するために他のAIモデルと比較した結果、定性的にも定量的にも優位性を示したという。

この記事の著者

関連記事

• 

  「恋人つなぎ」で歩けるハンドロボット　手汗、匂いもある「お散歩彼女」　岐阜大学が開発

• 

  使徒がそこにいるような、空と調和した巨大ARオブジェが出現　スマートフォンアプリ「Fakeye」、ベトナム研究チームが開発

• 

  ヒトのAIモデルからチンパンジーの姿勢と3次元構造を推定　Facebookなどが開発