Innovative Tech
混ざった楽器の音を演奏者の動きで分離 米MITなど研究
Innovative Tech：
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
米マサチューセッツ工科大学（MIT）とMIT-IBM Watson AI Labの研究チームが開発した「Music Gesture for Visual Sound Separation」は、楽器を演奏する複数人の動きを深層学習で分析し、個々の楽器の音を分離する手法だ。ピアノ、フルート、トランペットなどの楽器を複数人で同時演奏した場合に、その映像から演奏者それぞれのメロディーを抜き出す。
同時演奏者の動きから個々の楽器を分離できる
映像解析ネットワークと視覚音声分離ネットワークの2つからなる「自己教師あり学習」を採用。映像解析ネットワークでは、人体のキーポイント18点、手のキーポイント21点を抽出。次に身体の動きと前後関係を統合し、音楽を演奏する際の身体や指の動きを明示的にモデル化する。
視聴覚分離ネットワークでは、映像表現と混合音のスペクトログラムから身体の動きとそれに対応する音声信号を関連付け、混合音を分離する。
Music Gestureのアーキテクチャ
本モデルでは、手指や腕などの細かい動きも捉え、楽器によって注目する身体部位を変えることで学習精度を向上させている。例えば、ギターやフルートなどは手指に、チェロやバイオリンなどは肘に注目している。
これによって学習したモデルは、カメラの視点移動や隠れて見えない身体部分があると精度は落ちるものの、個々のメロディーを高精度に分離することに成功したという。異なる楽器だけでなく、同じ楽器による演奏でも分離できたとしている。
「URMP」「MUSIC」「AtinPiano」の3つの動画音楽演奏データセットを用いて、モデルの有効性を実証したところ、最先端の手法と比較して定量的に上回る性能を発揮したとしている。
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
こんなメディアも見られています
ITmedia NEWSに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
本日の新着記事
アクセスランキング
-
1
メルカリ、梨の転売疑惑に「盗品の出品は確認されず」 誹謗中傷には利用制限も
-
2
Anthropic、「Claude Opus 5」公開 Fable 5に迫る性能を半額で――サイバー安全策は緩和、拒否時は自動フォールバックも
-
3
検索結果に「詐欺ではありません」と表示させる詐欺手口、警視庁が注意喚起 AI要約も餌食に
-
4
「iPhone高騰」はこれからも続く？ 中国CXMTに近づくApple、メモリ競合へのけん制が不発に終わりそうなワケ【後編】
-
5
「ニューロマンサー」実写ドラマ、Apple TV+で2027年1月配信開始へ
-
6
「こんなのに追われたら……」急斜面もやすやす爆走、中国製の車輪付き四足ロボのデモ動画が話題 最高時速20km超
-
7
海外の新作バカゲー「電車アタック」にマンガ家が感心した理由 ブッ飛んだ内容と完成度の高さ、そして“日本”
-
8
「めっちゃカメレオン」公式Discord乗っ取り 担当者PCがマルウェア感染、管理者が全員BANに 現在は復旧
-
9
暑さ対策が熱い！ 「猛暑対策展」で感じた、転んでもただでは起き上がらない日本人のエネルギー
-
10
スーパーに並んだ「ごちゃごちゃ生成AIポップ」が物議 “看板王”こと、きぬた歯科院長「これはアリ」
ITmedia NEWS SNS
@itmedia_newsをフォロー
インフォメーション
注目情報をチェック
ITmediaNEWSをフォロー
あなたにおすすめの記事PR