Innovative Tech

YouTubeの楽器レッスン動画を個別指導風にする「Soloist」　トロント大学が開発

　カナダ・トロント大学の研究チームが開発した「Soloist」は、YouTubeで公開している楽器レッスン動画を、マンツーマンレッスンのように使いやすいインタフェースに変換する手法だ。

　楽器を教えるオンラインレッスン動画がYouTubeなどで多数公開されているが、生徒は先生からフィードバックを受けたり、個別指導を受けたりはできない。

　具体的な不便さとしては、動画を操作するために何度も楽器から手を離さなければならないことや、再生部分のタイムスタンプを正確に選択することの難しさなどが挙げられる。自分が弾いた演奏を録音し、それを客観的に評価することもできない。

　Soloistでは、エレキギターのギターソロを学ぶYouTube動画を使った。練習したい動画をYouTubeから選択し入力すると、Webブラウザ上の独自ユーザーインタフェースに解説動画、波形、グラフなどが表示される。

　ユーザーインタフェース下段に表示される波形は、深層学習に基づいた音声処理を利用して、動画内の音をナレーションと楽器演奏の2種類に分離し表示したデータだ。通常、音楽レッスン動画はナレーションと楽器演奏が交互に再生される形式が多く、楽器練習をするユーザーの多くにとって、繰り返し聞きたいのは楽器演奏部分だけというニーズに応えている。

　ユーザーは楽器演奏の波形を見て、スタート地点を視覚的に認識し瞬時にタイムスタンプを特定できる。繰り返し聞きたい楽器演奏部分に対しては、その波形のリージョン（領域）を手動もしくは自動で作成し、そこだけループ再生できる。

　繰り返し練習したいリージョンを作成したら、次はそれを聞きながら自分で演奏し練習する。その際、録音ボタンを押して演奏を録音すると、録音した演奏と手本となるリージョンの演奏が比較される。比較した結果は、両演奏のメロディーラインや音符正解率の円グラフ表示などで瞬時にフィードバックされる。

　両演奏を比較したメロディーラインでは、手本の演奏とどこでどれくらい音程がズレているかなど、耳では分かりづらい細部まで正確に示してくれる。間違いの可能性のある領域は自動的にハイライト表示される。両方の演奏の同時再生もできるため、模範演奏と照らし合わせながら自分の耳でもズレを確認できる。

　学習の進捗は、作成したリージョンを何回再生、ループ、録音したかの棒グラフで表示される。

　評価実験では、クラウドサービス上にシステムを導入し、リモートユーザー調査を実施したところ、従来のレッスン動画よりもSoloistを使った学習の方が好ましいといった肯定的なフィードバックが全員一致で得られたという。

この記事の著者

関連記事

• 

  スクリーンが動いても高速追従　液体レンズを使ったAFプロジェクションマッピング

• 

  20機の小型ロボット群をハンドジェスチャーで直感操作　スタンフォード大など開発

• 

  一般人が撮影したネット上の写真から建物を高品質に3D化するGoogleの機械学習技術