マッチングアプリみたいに“左右スワイプ”で好みの顔画像を生成 東大「SwipeGANSpace」開発：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

Twitter: ＠shiropen2

　東京大学馬場研究室に所属する研究者らが発表した論文「SwipeGANSpace: 潜在空間の関心次元探索によるスワイプ操作に基づく嗜好画像生成」は、好みの顔画像を簡単なスワイプ操作だけで生成できる手法を提案した研究報告である。

　表示される1枚の顔写真を好むか好まないかの2択で左右にスワイプする操作をスマートフォン上で繰り返すことで、最終的な好みの顔画像を作る。この直感的な手法により、顔画像生成においてユーザーの負荷を軽減する。

左右へのスワイプで好みの顔画像を生成するインタフェース

　研究の方法は、Tinderのようなマッチングアプリを模倣し、一度に1枚の画像を表示するところから始まる。ユーザーは表示された画像を右にスワイプして好意を示し、左にスワイプして以前の画像に好意を示す。このフィードバックに基づいて次の画像が生成され、ユーザーに提示。このプロセスは嗜好画像が生成されるまで繰り返される。

　効率的な画像生成のために、StyleGANの潜在空間に主成分分析を適用し、重要な要素で構成された部分空間を作成する。この部分空間内でベイズ最適化を利用し、効率的に潜在変数を探索する。しかし、空間の次元が大きいと探索効率が低下するため、多腕バンディットアルゴリズムを採用して、特にユーザーに関連する次元に焦点を当てることで探索効率を高める。

GANの潜在空間を効率的に探索

　ユーザー実験では、提案手法がベースラインと比較して効率的に嗜好画像を生成できるかを検証した。14人の被験者が6つの異なるシナリオ（弁護士、教師、スポーツインストラクター、受付、図書館スタッフ、保育士）に基づいて好みのアバターを生成する実験に参加した。

　アンケート結果によると、提案手法がベースラインよりも効率的に目的の画像にたどり着けたと回答した人が多かった。また、細かい変化と大きな変化を適切に組み合わせることで、より効率的に嗜好画像を生成できることを示した。

　テキストプロンプトによる画像生成モデルが流行しているが、これらは適切なプロンプトを考え出す作業が煩雑であり、ユーザーに一定の負荷が伴う。提案された直感的なユーザーインタフェースにより、この煩雑さが軽減されることが期待される。また、この手法がゲームやファッションなどさまざまな分野へ応用されることも期待される。

Source and Image Credits: 中島 柚斗, 楊 明哲, 馬場 雪乃. SwipeGANSpace: 潜在空間の関心次元探索によるスワイプ操作に基づく嗜好画像生成. WISS 2023: 第31回インタラクティブシステムとソフトウェアに関するワークショップ https://www.wiss.org/WISS2023/