Innovative Tech

一度に複数の楽器を個別録音できる次世代マイク　米カーネギーメロン大が開発

公開 2022年07月01日 08時01分

著者

山下裕毅

[ITmedia]

印刷する Googleで優先するソースとして追加

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　米カーネギーメロン大学が開発した「Dual-Shutter Optical Vibration Sensing」は、同時に演奏するそれぞれの楽器を一度に個別収録できるマイクシステムだ。理論上はオーケストラの演奏でも、各楽器を全て別々に録音できる。

ギター演奏を2本同時に録音し、それぞれの音をキャプチャーできるほどの精度で音の振動を捉えられるシステム

　指向性が強いマイクでさえ、音を収録すると周囲の環境音や壁に跳ね返ったノイズを排除しきれない。ましてや複数楽器を同時に演奏した場合、単一の楽器だけをクリアに捉えることは非常に難しい。通常のマイクロフォンでは複数楽器による混合音しか録音できない。

　今回は同時演奏でも単一の楽器だけを収録できるコンピュータビジョンベースのマイクシステムを提案する。このマイクシステムは2台のカメラとレーザーで構成される。通常のマイクロフォンと違い、演奏中に振動する楽器自体にレーザー光を当て、その反射をカメラで捉えて音を復元する。

　具体的にはまず、振動を発生させている対象物（例えばギターなど）にレーザー光を照射する。振動に応じたランダムな干渉パターン（スペックルパターン）が発生するので、デュアルカメラを駆使してローリングシャッターとグローバルシャッターで撮影し画像化する。2つの映像のスペックルパターンは異なるため、この差をアルゴリズムで計算し振動に変換して音を復元する。