Innovative Tech

脳波から画像を生成するAI「DreamDiffusion」　テンセント含む中国の研究者らが開発

公開 2023年07月05日 08時02分

更新 2023年07月05日 02時42分

著者

山下裕毅

[ITmedia]

印刷する連載新着通知を受け取る

Innovative Tech：

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

Twitter: ＠shiropen2

　中国の清華深セン国際大学院、Tencent AI Lab、Peng Cheng Laboratoryに所属する研究者らが発表した論文「DreamDiffusion: Generating High-Quality Images from Brain EEG Signals」は、脳波（EEG）から高品質でリアルな画像を生成する拡散モデルを提案した研究報告である。提案手法は、EEGデータセットから学習した知識と画像拡散モデルの生成能力を利用する。

脳波信号からStable Diffusionを利用して画像を生成

　人の脳から拡散モデルを利用して画像を生成するアプローチはこれまでにも研究されてきた。例えば、阪大などが開発したシステムなどだ。しかし、その多くは、磁気共鳴機能画像法（fMRI）により得られた脳活動から画像を生成するアプローチを採用している。そのため、専門家の操作が必要な上、高価で持ち運びが困難なfMRI装置を必要とし、実用的ではない。

　これに対して脳波は、非侵襲的かつ低コストで脳の電気活動を記録する方法である。EEG信号を簡便に取得できるポータブルな市販製品も登場している。

　この研究では、脳波信号で事前に訓練したテキストから画像への拡散モデル「Stable Diffusion」を用い、画像を生成する手法を提案する。しかし、脳波信号を活用するには課題も多い。例えば、脳波信号は非侵襲的に捉えられるため本質的にノイズが多い。また、脳波データは限られており個人差も無視できない。

　CLIPの使用と多数のテキストと画像ペアに対するトレーニングのおかげで、Stable Diffusionにおけるテキスト空間と画像空間はよく整列している。だがノイズの多い脳波と画像のペアを用いて、脳波、テキスト、画像の空間をどのように整列させるのかが問題となる。

　この問題に対して研究者らは、主に3つのモジュールからなるシステムを構築する。（1）ノイズの多い脳波データから情報を抽出するEEGエンコーダーのためのマスク信号の事前訓練、（2）Stable Diffusionを用いた、EEGと画像のペアからなるデータセットによる微調整、（3）追加のCLIPエンコーダーを用いたEEG、テキスト、画像の空間の整列、となる。

DreamDiffusionのパイプライン

　今回使用したEEGと画像のペアデータは、6人の被験者がImageNetデータセットから40の異なるカテゴリーのオブジェクトに属する2000枚の画像を見せられながら記録された脳波のコレクションである。そのため、40カテゴリーに限定されていることに留意したい。

　この手法の精度を評価するため、類似の最新研究（Brain2Image）と定性的に比較した実験を行った。結果、Brain2Imageによって生成した画像よりも著しく精度が高いことが確認でき、提案手法の有効性を示した。

DreamDiffusionを利用した主な結果。左側の画像が元の画像、右側の3つの画像が出力結果

Source and Image Credits: Yunpeng Bai, Xintao Wang, Yanpei Cao, Yixiao Ge, Chun Yuan, and Ying Shan. DreamDiffusion: Generating High-Quality Images from Brain EEG Signals

この連載新着通知をメールで受け取る

印刷する

SpecialPR

Innovative Tech

2019年にスタートした本連載「Innovative Tech」は、世界中の幅広い分野から最先端の研究論文を独自視点で厳選、解説している。執筆は研究論文メディア「Seamless」（シームレス）を主宰し、日課として数多くの論文に目を通す山下氏が担当。イラストや漫画は、同メディア所属のアーティスト・おね氏が手掛けている。

連載新着通知を受け取る

この連載の記事をもっと見る