Innovative Tech

動画を見るマウスの脳活動から映像をAIで復元　スイスの研究者ら「CEBRA」開発

公開 2023年05月16日 08時03分

更新 2024年04月02日 11時13分

著者

山下裕毅

[ITmedia]

印刷する連載新着通知を受け取る Googleで優先するソースとして追加

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。Twitter: ＠shiropen2

　スイス連邦工科大学ローザンヌ校に所属する研究者らが発表した論文「Learnable latent embeddings for joint behavioural and neural analysis」は、動画を見るマウスの脳活動データから、見ている映像を復元する機械学習アルゴリズムを提案した研究報告である。

マウスに映像を見せている様子

　研究者らは、数匹のマウスに30秒ほどのモノクロ映画クリップを9回見せ、そのときの脳活動データを採取した。

　脳活動の収集には、マウスの一次視覚野（視覚情報の処理に関わる脳の領域）に電気パルスを記録するプローブ（針）を挿入して行う。また、一部の脳活動データは、顕微鏡でマウスの脳を撮影することによっても収集する。

　見た映像600フレームに関連付けるように開発した「CEBRA」と呼ぶ深層学習モデルで、採取した脳活動データを学習させる。脳信号と映画の特徴をマッピングするわけだ。

　実証実験では、10回目の映画クリップを見ているマウスから収集した脳活動データを用い、訓練したモデルでクリップ内のフレームの順序を予測する。つまり、マウスが実際にこの映画のどのフレームを見ているかを予測する。その結果、95％の確率で1秒以内に正しいフレームを予測できることが分かった。

（上）元動画、（下）元動画を見ているマウスの脳活動から復元した映像

Source and Image Credits: Schneider, S., Lee, J.H. & Mathis, M.W. Learnable latent embeddings for joint behavioural and neural analysis. Nature（2023）. https://doi.org/10.1038/s41586-023-06031-6

この連載新着通知をメールで受け取る

印刷する

SpecialPR

Innovative Tech

2019年にスタートした本連載「Innovative Tech」は、世界中の幅広い分野から最先端の研究論文を独自視点で厳選、解説している。執筆は研究論文メディア「Seamless」（シームレス）を主宰し、日課として数多くの論文に目を通す山下氏が担当。イラストや漫画は、同メディア所属のアーティスト・おね氏が手掛けている。

連載新着通知を受け取る

この連載の記事をもっと見る