　具体的にはまず、振動を発生させている対象物（例えばギターなど）にレーザー光を照射する。振動に応じたランダムな干渉パターン（スペックルパターン）が発生するので、デュアルカメラを駆使してローリングシャッターとグローバルシャッターで撮影し画像化する。2つの映像のスペックルパターンは異なるため、この差をアルゴリズムで計算し振動に変換して音を復元する。

レーザー光を演奏中のギターに照射し、結果として生成されるスペックルパターンをカメラで捉える

　通常のマイクロフォンとは違い、その楽器の振動のみを入力とするためその他多数のノイズを排除できるのがシステムの利点だ。また、これまで通常のマイクロフォンでは困難であった低振幅も捉えることができる。音が小さくても楽器さえ振動していれば音を復元できるからだ。

　もっというと、人間では知覚できない高周波（超音波）の振動も捉えることができる。そのため今回の成果は、音を捉えるというよりも、高速で微小な振動を捉えることができた技術といえるだろう。

　ギターやスピーカーなどのそれ自体が振動する対象物だけでなく、間接的に振動する物でも捉えられる。例えば、人の声で振動したスナック菓子の袋にレーザー光を当てることで、人の声を復元するといったことが可能だ。

実験時の概要

　応用例としては、他の楽器の干渉を受けずに個々の楽器の音をモニターして、合奏全体を微調整する。製造業で工場内の個々の機械の振動をモニターして、メンテナンスの必要な兆候を早期に発見するなどが考えられる。

Source and Image Credits: Mark Sheinin, Dorian Chan, Matthew O’Toole, and Srinivasa G. Narasimhan. “Dual-Shutter Optical Vibration Sensing”.

動画の雑音をほぼ消す技術、米国などのチームが開発　声のみが強調されすぎてアフレコみたいな結果に
米Dolby LaboratoriesとスペインのUniversitat Pompeu Fabraの研究チームは、収録した映像のバックグラウンドノイズ（背景雑音）を強力に除去する技術だを開発した。
LINEがAI文字起こしアプリを無料提供　話者を聞き分けて記録する「分離機能」も
LINEがAI文字起こしアプリ「CLOVA Note」のβ版をリリースした。利用料は無料。複数の参加者の声を聞き分けて別々に記録する話者分離ができる。
おしっこの音をスマートウォッチで録音し、排尿障害を診断　スペインの研究チームが開発
スペインのデウスト大学とスペインのOsakidetza Cruces University Hospitalの研究チームは、患者が自宅で音による尿流量測定を行うための非侵襲プラットフォームを開発。スマートウォッチで、排せつ物が便器に衝突する音を記録して、体の診断に使う。
東大、小声を「疑似大声」に変換する実験　大声を出す体験ができるシステムを開発
東京大学 Human & Environment Informatics Labの研究チームは、ボソボソとした小声でも、大声を出した感覚を体験できるシステムを開発した。喉頭への振動刺激と大きな音を耳に提示する聴覚刺激を組み合わせ、発声感覚を拡張し、疑似的な大声発声を提示する。
Alexaが故人の声で話すようになる　それは良いことなのか？
Amazonが発表した、故人の声で本の読み聞かせをするデモ。これについて考えてみた。