誰でもオーケストラの指揮者に? Webアプリでクラシックの名曲を演奏したら、拍手喝采だった!:遊んで学べる「Experiments with Google」(第24回)(2/2 ページ)
オーケストラの指揮者になれるWebアプリ「Semi-Conductor」を紹介する。AIで腕の振り方を認識して、楽器を指揮する仕組みだ。モーツァルトの名曲を演奏したら、拍手喝采だった。
モーツァルトの楽曲を演奏 果たしてうまく指揮できるのか?
指揮する動きは簡単そうなので、早速やってみよう。
まず、位置合わせをする。Webカメラの前に立ち、表示された人型のガイドラインに合わせて両腕を伸ばす。AIが瞬時に身体の姿勢を認識して、実際にとったポーズを画面上の棒人間にリアルタイムで反映する様子が分かる。
位置合わせが済むと、目の前にオーケストラが登場する。さぁ、モーツァルトの名曲「アイネ・クライネ・ナハトムジーク」の演奏だ。なお、便宜上オーケストラと書いているが、厳密には違っていて、バイオリン、ビオラ、チェロ、コントラバスによる弦楽合奏を指揮する。
腕を動かすと、振る速度に応じて中央のメーターが動く。どうやら、針が垂直になると演奏のテンポがちょうど良いらしい。
ただ、指揮の仕方が悪いのか、なかなかテンポをキープできない。演奏が速くなったり遅くなったりして、止まってしまうこともあった。指揮者の指示に忠実なのは良いのだが、この際もう指揮は無視してきちんと演奏してほしい。
主旋律を目立たせたいフレーズでは、左側の高音パートに向かって指揮した。すると、演奏はもちろん、画面のアニメーションも反応し、バイオリンだけ動き、左側のビオラとチェロ、コントラバスは演奏を止めた。演奏者が思うように反応するのは、とても気持ちが良い。
テンポは安定しないものの、とにかく演奏を止めないように最後まで指揮者を演じきった。腕を激しく振り続けたせいか、脈拍が130以上まで上がり、汗をかき、意図せず良い有酸素運動になったようだ。
振り返ってみると演奏内容はひどいもので、指揮の難しさを思い知らされた。ところが、筆者の努力は認められたらしい。最後に大きな拍手と「ブラボー」の評価をもらえた上に、ばらの花がステージに投げ込まれた。
なお、サンプルビデオ(YouTubeに移動)では、もう少しスムーズに演奏できている。処理能力が高いPCを使えば、もう少し上手な演奏を披露できたかもしれない。
ソースコードを公開 改造すれば好きな曲を指揮できる
今回使ったSemi-Conductorで演奏できる曲は、アイネ・クライネ・ナハトムジークしかない。ただしGitHubでソースコードを入手できる、Webアプリの改造が可能だ。
鳴らす楽器の音声データ、演奏する曲のMIDIデータを差し替えれば、好きな曲を好きな楽器で演奏させ、それを指揮して楽しめる。
Googleの機械学習モデル「PoseNet」を活用 Webカメラで人の姿勢を認識
Semi-Conductorは、Googleの機械学習モデル「PoseNet」を利用して、Webカメラで捉えた人の姿勢を認識している。つまり、Semi-ConductorはPoseNetの使用方法や、MIDIデータと音声データの処理方法をデモンストレーションするためのコンテンツといえる。
Experiments with Googleには、PoseNetを使ったコンテンツが他にもいくつかある。例えば「Touch Type」は、手を動かすと画面に表示された文字が乱れ、面白い映像になるWebアプリだ。
さらに、PoseNetを使っていないが、体の動きを絵や音に変えるWebアプリ「Sound Canvas」や「Clarion Lite」も公開されている。
PCでWebアプリを操作するというと、ついマウスやキーボードを最初に考えてしまう。しかし、PCに触れずに手や身体の動きでも操作できると思い出させてくれるコンテンツだ。WebカメラやAIを手軽に使えるようになったため、Semi-ConductorやTouch Typeのように手の動きで操作するコンテンツやUI(ユーザーインタフェース)を、処理の負荷を抑えて採用できる。新しいサービスやUIに取り入れるのも面白いかもしれないし、これまでより適した操作性を実現できるかもしれない。
関連記事
- 芸術の秋に音楽で遊ぼう! 太鼓を鳴らすサルから、シンセサイザーの原理までWebブラウザで楽しめる「Chrome Music Lab」
芸術の秋なので、Webブラウザで音楽コンテンツを遊べる「Chrome Music Lab」を紹介する。太鼓を鳴らすサルからリズムについて学んだり、シンセサイザーの原理を楽しく知れるWebアプリを試してみた。 - 60人が自宅から「パプリカ」合奏、テレワークオーケストラの舞台裏 ばらばらの環境で統一感出せた理由
新日本フィルハーモニーが3月にYouTubeで公開した「テレワークでパプリカやってみた!」という動画が大きな反響を呼んだ。62人の楽員がそれぞれの自宅というばらばらの環境で、統一感のある音楽を仕上げられた裏側には、地道な作業の積み重ねがあった。 - 「ゲーム音楽を、音楽史に残る文化に」――日本初のゲーム音楽専門プロオーケストラ「JAGMO」の思い
「ポケモン」「FF」など名作ゲーム音楽のみのフルオーケストラ公演を2月に控えた、平均年齢25歳という日本初のゲーム音楽専門プロオーケストラ「JAGMO」。「クラシックになじみがない人にこそ来てほしい、生音の迫力や感動を届けたい」という。 - コンピュータで音楽を作る時代はこうして始まった
1982年、8ビットのコンピュータとシーケンサーを使ってライブをやっていた証拠写真が見つかった。自分のだけど。 - どんなメロディもバッハ風にするAIサービス 編曲を“巨匠に依頼”した 美しい演奏を聞けるのか?
入力したメロディをバッハ風やモーツァルト風に演奏するAIサービス「Assisted Melody」を使って、“巨匠”に編曲をしてもらった。果たして、美しい音色を聞けるのだろうか。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.