ITmedia NEWS > STUDIO >

YouTubeの楽器レッスン動画を個別指導風にする「Soloist」 トロント大学が開発Innovative Tech

» 2021年02月03日 17時18分 公開
[山下裕毅ITmedia]

Innovative Tech:

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

 カナダ・トロント大学の研究チームが開発した「Soloist」は、YouTubeで公開している楽器レッスン動画を、マンツーマンレッスンのように使いやすいインタフェースに変換する手法だ。

 楽器を教えるオンラインレッスン動画がYouTubeなどで多数公開されているが、生徒は先生からフィードバックを受けたり、個別指導を受けたりはできない。

 具体的な不便さとしては、動画を操作するために何度も楽器から手を離さなければならないことや、再生部分のタイムスタンプを正確に選択することの難しさなどが挙げられる。自分が弾いた演奏を録音し、それを客観的に評価することもできない。

 Soloistでは、エレキギターのギターソロを学ぶYouTube動画を使った。練習したい動画をYouTubeから選択し入力すると、Webブラウザ上の独自ユーザーインタフェースに解説動画、波形、グラフなどが表示される。

photo Soloistのユーザーインタフェース

 ユーザーインタフェース下段に表示される波形は、深層学習に基づいた音声処理を利用して、動画内の音をナレーションと楽器演奏の2種類に分離し表示したデータだ。通常、音楽レッスン動画はナレーションと楽器演奏が交互に再生される形式が多く、楽器練習をするユーザーの多くにとって、繰り返し聞きたいのは楽器演奏部分だけというニーズに応えている。

photo 上段の波形がナレーション、下段の波形が楽器演奏。ハイライト部分は、波形をリージョンにした領域を示す

 ユーザーは楽器演奏の波形を見て、スタート地点を視覚的に認識し瞬時にタイムスタンプを特定できる。繰り返し聞きたい楽器演奏部分に対しては、その波形のリージョン(領域)を手動もしくは自動で作成し、そこだけループ再生できる。

 繰り返し練習したいリージョンを作成したら、次はそれを聞きながら自分で演奏し練習する。その際、録音ボタンを押して演奏を録音すると、録音した演奏と手本となるリージョンの演奏が比較される。比較した結果は、両演奏のメロディーラインや音符正解率の円グラフ表示などで瞬時にフィードバックされる。

 両演奏を比較したメロディーラインでは、手本の演奏とどこでどれくらい音程がズレているかなど、耳では分かりづらい細部まで正確に示してくれる。間違いの可能性のある領域は自動的にハイライト表示される。両方の演奏の同時再生もできるため、模範演奏と照らし合わせながら自分の耳でもズレを確認できる。

photo メロディーラインの可視化。赤色が動画内の演奏、青色がユーザー演奏

 学習の進捗は、作成したリージョンを何回再生、ループ、録音したかの棒グラフで表示される。

photo 学習の進捗状況を示すグラフ

 評価実験では、クラウドサービス上にシステムを導入し、リモートユーザー調査を実施したところ、従来のレッスン動画よりもSoloistを使った学習の方が好ましいといった肯定的なフィードバックが全員一致で得られたという。

photo フロントエンドとバックエンドで構成される本システムのパイプライン

Copyright © ITmedia, Inc. All Rights Reserved.