ネズミの脳波からAIが画像を生成、東大が発表 脳波の変化をリアルタイムで反映

[ITmedia]

　東京大学は9月7日、ネズミの脳波からAIが画像を生成するシステムを作ったとする研究を発表した。画像生成AIにネズミの脳波をノイズとして入力。脳波の変化をリアルタイムで反映する画像が出力できるという。

ネズミの脳波からAIが画像を生成するシステムを作ったとする研究を発表

　研究に使った画像生成AI「Stable Diffusion」は、ノイズから画像を作り出す「拡散モデル」。このモデルは、画像に加えられたノイズを除去し、元の画像を復元するように学習する。結果、ランダムなノイズを入力すると、学習に沿った新しい画像を出力できるようになる。

「拡散モデル」の仕組み

　研究では、Stable Diffusionにネズミの脳波をノイズとして入力するシステムを構築した。脳波はニューロンの信号を記録する時系列データであり、そのままStable Diffusionに入力することはできない。そこで脳波を1/30 秒ずつずらして切り取り、ノイズに変換。リアルタイムで入力できるようにし、脳波の変化に応じて少しずつ変化する画像の出力を可能にした。

研究で作ったシステム

　Stable Diffusionは、文章による入力から画像を生成する使い方が一般的だが、ノイズのみの入力にも対応する。今回の研究ではネズミの脳波から変換したノイズのみを入力に使ったが、今後はネズミの内部状態を文章に反映させ、例えば眠たいときには静かな雰囲気の画像など、「気分」に応じた画像の生成ができるシステムの構築を目指すという。

今回の研究で出力した画像

　今回開発した手法は、脳波以外のバイオ信号、波や風といった自然現象など、全ての時系列信号に応用可能。研究グループは、この手法が芸術の新たな創作手法となることを期待するとしている。

　研究を発表したのは、東京大学大学院薬学系研究科の山城皓太郎さんと池谷裕二教授らの研究グループ。研究成果は、PLOSONE誌（オンライン版）に7日付で掲載された。