脳波から画像を生成するAI「DreamDiffusion」 テンセント含む中国の研究者らが開発:Innovative Tech
中国の清華深セン国際大学院、Tencent AI Lab、Peng Cheng Laboratoryに所属する研究者らは、脳波(EEG)から高品質でリアルな画像を生成する拡散モデルを提案した研究報告を発表した。
Innovative Tech:
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」(シームレス)を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
Twitter: @shiropen2
中国の清華深セン国際大学院、Tencent AI Lab、Peng Cheng Laboratoryに所属する研究者らが発表した論文「DreamDiffusion: Generating High-Quality Images from Brain EEG Signals」は、脳波(EEG)から高品質でリアルな画像を生成する拡散モデルを提案した研究報告である。提案手法は、EEGデータセットから学習した知識と画像拡散モデルの生成能力を利用する。
人の脳から拡散モデルを利用して画像を生成するアプローチはこれまでにも研究されてきた。例えば、阪大などが開発したシステムなどだ。しかし、その多くは、磁気共鳴機能画像法(fMRI)により得られた脳活動から画像を生成するアプローチを採用している。そのため、専門家の操作が必要な上、高価で持ち運びが困難なfMRI装置を必要とし、実用的ではない。
これに対して脳波は、非侵襲的かつ低コストで脳の電気活動を記録する方法である。EEG信号を簡便に取得できるポータブルな市販製品も登場している。
この研究では、脳波信号で事前に訓練したテキストから画像への拡散モデル「Stable Diffusion」を用い、画像を生成する手法を提案する。しかし、脳波信号を活用するには課題も多い。例えば、脳波信号は非侵襲的に捉えられるため本質的にノイズが多い。また、脳波データは限られており個人差も無視できない。
CLIPの使用と多数のテキストと画像ペアに対するトレーニングのおかげで、Stable Diffusionにおけるテキスト空間と画像空間はよく整列している。だがノイズの多い脳波と画像のペアを用いて、脳波、テキスト、画像の空間をどのように整列させるのかが問題となる。
この問題に対して研究者らは、主に3つのモジュールからなるシステムを構築する。(1)ノイズの多い脳波データから情報を抽出するEEGエンコーダーのためのマスク信号の事前訓練、(2)Stable Diffusionを用いた、EEGと画像のペアからなるデータセットによる微調整、(3)追加のCLIPエンコーダーを用いたEEG、テキスト、画像の空間の整列、となる。
今回使用したEEGと画像のペアデータは、6人の被験者がImageNetデータセットから40の異なるカテゴリーのオブジェクトに属する2000枚の画像を見せられながら記録された脳波のコレクションである。そのため、40カテゴリーに限定されていることに留意したい。
この手法の精度を評価するため、類似の最新研究(Brain2Image)と定性的に比較した実験を行った。結果、Brain2Imageによって生成した画像よりも著しく精度が高いことが確認でき、提案手法の有効性を示した。
Source and Image Credits: Yunpeng Bai, Xintao Wang, Yanpei Cao, Yixiao Ge, Chun Yuan, and Ying Shan. DreamDiffusion: Generating High-Quality Images from Brain EEG Signals
関連記事
- 壁を見るだけで“壁の先にある物体”を脳活動から画像化 英国の研究者らが技術開発
英グラスゴー大学に所属する研究者らは、見えない向こう側の物体の反射光を見た脳活動から、その物体を画像として再構築するブレインコンピュータインタフェース(BCI)を提案した研究報告を発表した。 - 脳波を解読して聞いている音楽を特定するAI 70%以上の精度で識別 英国チームが開発
英エセックス大学に所属する研究者は、ユーザーの脳波を記録し解読することで、今聞いている音楽を特定し復元する深層学習モデルを提案した研究報告を発表した。 - 脳波から言葉を生成するAI「Brain-to-Text」 “声道”への指令を解読、言葉に変換
米University of California, San Franciscoなどによる研究チームは、脳に電極を埋め込み、脳波から言葉を生成する研究報告を発表した。発声した際に声道付近の筋肉に指令を送る脳神経から読み取り、脳波から言葉を生成する。 - 「この写真を金髪に変えたい」──脳で考えた通りに画像を編集するAI、欧州チームが開発
フィンランドのUniversity of Helsinkiとデンマークのコペンハーゲン大学の研究チームは、人間が考えたことをもとにコンピュータに画像を編集させる深層学習を用いたブレインマシンインタフェース(BMI)技術を開発した。 - 脳に貼り付ける高性能センサー、解像度は従来の100倍 将来的には無線化で埋め込みも
米カリフォルニア大学サンディエゴ校、米Oregon Health and Science University、米マサチューセッツ総合病院による研究チームは、1024個または2048個の皮質脳波記録センサーを高密度に配列した、薄くて柔軟なグリッドを開発した。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.