Innovative Tech

「この写真を金髪に変えたい」──脳で考えた通りに画像を編集するAI、欧州チームが開発

公開 2022年07月01日 07時02分

著者

山下裕毅

[ITmedia]

印刷する

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　フィンランドのUniversity of Helsinkiとデンマークのコペンハーゲン大学の研究チームが開発した「Brain-Supervised Image Editing」は、人間が考えたことをもとにコンピュータに画像を編集させる深層学習を用いたブレインマシンインタフェース（BMI）技術だ。「笑顔」「金髪」「女性」「若く」などを考えた際の脳活動を入力し、事前情報を持たないコンピュータがその意味の通りに顔画像を編集する。

（上段）元の画像、（下段）この手法を用いた出力結果。左から「金髪」「黒の髪」「女性」「男性」「笑顔にしない」「笑顔にする」「高齢」「若く」

　この研究は、ユーザーが顔画像を編集する際に考えたときの脳反応を脳波で記録し、GAN（Generative Adversarial Network）を用いて潜在空間内の意味特徴を学習し、新しい画像の意味特徴を編集する。

　実験は30人の参加者を対象に行われた。参加者には脳の電気信号を取得するEEG電極キャップを装着してもらい、200枚の顔画像を見てもらった。また「女性の顔にする」「年配の人にする」「金髪にする」「笑顔にする」などの一連のタスクを与えた。

EEG電極キャップを装着し顔画像をみる参加者

　参加者の脳活動をもとにコンピュータは与えられた嗜好をマッピングし、それに応じて画像を編集する。つまり、「年上の人にする」という課題であれば、コンピュータは若い人の肖像画を修正し、年上に見えるようにする。「金髪にする」を指定すると、全ての画像がその色になる。

　実験結果は良好で、注目すべきはコンピュータが顔認識に関する知識を事前に持っておらず、性別や髪の色など、関連する特徴を全く知らないことだろう。それでも、コンピュータは問題のある特徴だけを編集し、他の顔の特徴は変更しなかった。この結果は、ブレインコンピュータインタフェースを介して記録された脳波が意味的な画像編集と解釈に利用することの実現可能性を示すものとなった。

Source and Image Credits: Keith M. Davis, Carlos de la Torre-Ortiz, and Tuukka Ruotsalo.“Brain-Supervised Image Editing”

印刷する