Innovative Tech

脳波を解読して聞いている音楽を特定するAI　70％以上の精度で識別　英国チームが開発

公開 2023年02月01日 08時02分

著者

山下裕毅

[ITmedia]

印刷する連載新着通知を受け取る

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。Twitter: ＠shiropen2

　英エセックス大学に所属する研究者が発表した論文「Neural decoding of music from the EEG」は、ユーザーの脳波を記録し解読することで、今聞いている音楽を特定し復元する深層学習モデルを提案した研究報告である。

この手法の解析パイプライン

　これまでにも脳波から音響情報を特定し再構築する研究は過去にあったが、多くは大脳皮質に脳波電極を接触または刺入する皮質電図（ECoG）などの侵襲的な方法を使用してきた。今回は、ユーザーへの負担が低い非侵襲的な方法を採用する。

　具体的には、脳全体の血流や代謝を測定するfMRIと、脳内の電気的活動に伴う電磁気信号を捉える脳波（EEG）という2つの非侵襲的方法を組み合わせる。fMRIは空間分解能に優れているが、数秒にわたる反応を測定する時間分解能に弱い。反対にEEGは時間分解能に優れている。fMRIとEEGを合わせることで、空間と時間の両面から高い分解能で脳機能を測定できる。

　解読システムでは、まずfMRIとEEGで記録したデータから音楽の聴取に関連する特徴を抽出する。次に、ユーザーが聞いた音楽を脳波から生成する、深層学習ネットワーク（biLSTM）モデルで音声合成による曲の復元と識別を行う。

fMRIを用いた脳解析で使用した参加者のダイポール位置

　実験は、参加者複数人に異なる36曲のセットから40秒の単純なピアノ曲を聴いてもらい実施した。参加者が音楽を聴いている間の脳活動を記録し解析した結果、提案モデルは71.8％の成功率で曲を識別することができた。

Source and Image Credits: Daly, I. Neural decoding of music from the EEG. Sci Rep 13, 624（2023）. https://doi.org/10.1038/s41598-022-27361-x

この連載新着通知をメールで受け取る

印刷する

SpecialPR

Innovative Tech

2019年にスタートした本連載「Innovative Tech」は、世界中の幅広い分野から最先端の研究論文を独自視点で厳選、解説している。執筆は研究論文メディア「Seamless」（シームレス）を主宰し、日課として数多くの論文に目を通す山下氏が担当。イラストや漫画は、同メディア所属のアーティスト・おね氏が手掛けている。

連載新着通知を受け取る

この連載の記事をもっと見る