Googleさん

「ふんふふん」で曲名が分かるGoogleの鼻歌検索　驚きの的中度支えるマッチング手法（2/2 ページ）

公開 2020年11月15日 09時44分

更新 2020年11月15日 07時53分

著者

佐藤由紀子

[ITmedia]

印刷する連載新着通知を受け取る

　鼻歌検索は、オリジナル曲と検索クエリとしての鼻歌を（直接ではないけど）マッチングさせます。だから最新の曲でもすぐに検索できるようになります。

　Googleは、オリジナル曲の検索であれば、2017年からできるようにしてくれています。Pixel 2以降で使える「Now Playing（日本では「この曲なに？」）」です。周囲に流れている曲の題名とアーティストをロック画面に表示します。カフェや、家のテレビやスマートスピーカーで流している曲の曲名を逐一教えてくれる、タモリ倶楽部鑑賞で必携の機能。

　鼻歌検索は、この「この曲なに？」と「サウンド検索」のために構築した音楽認識モデルを基に、ハミングしたクエリに対応するよう改造したものです。オリジナル曲とハミングの音声のペアでニューラルネットワークを訓練しまくり、これでオリジナル曲とハミングの旋律をマッチングできるようにしていきました。

　Googleさんの説明によると、「中間表現を生成せずに、曲のスペクトログラムから旋律を埋め込む」というアプローチだそうです。クマールさんと公式ブログの説明をおおまかにはしょると、オリジナル曲を与えると伴奏やコーラス部分を省いた旋律だけを抽出し、それを数列に変換するニューラルネットワークを育てたのです。

　おおまかな仕組みは、普通のGoogle検索やGoogleフォトの検索と同じです。Googleフォトで例えば「犬」と検索すると、自分のGoogleフォトにアップロードしてある犬の写真がずらっと表示されます（たまに、カピバラやネコも混じってたりしますが）。Googleさんが膨大な画像データを使って鍛えたAIが、入力されたクエリにマッチする画像を探し出して提示しています。

　鼻歌検索も同じ。数列化した旋律に似た部分が多いペアを見つけて「これですか？」と提示します。だから、最初から歌わなくても、サビの部分だけをハミングしても見つけてくれるし、人間としては似ていると思えないような曲が提示されることもあります。

　また、旋律だけを見ているので、検索結果にはいろんな演奏、キーの違う演奏も表示されます。下は、米国国歌（The Star Spangled Banner）の検索結果。

同じ曲のいろんな演奏が表示される

　だから、オリジナルがデータベースになくても、カバーバージョンが検索結果として出てくることもあります。

ユーミンのオリジナルはデータベースにないようです

　日本の古い童謡や歌謡曲などは、まだ苦手みたいです（ぽっぽっぽーはとぽっぽーはなぜか大橋トリオ演奏の「LA・LA・LA・LOVE SONG」だと推測された）。日本の国歌（君が代。アップテンポで歌ったら「パプリカ」になった。ああ、似てるかも）も、データベースにないようです。

　現在のシステムのデータベースには50万以上の曲が入っていて、継続的に更新されているそうです。そのうち君が代も出てくるようになるかも。

　今のところ、日本語で鼻歌検索が使えるのはAndroid版「Google」アプリとGoogleアシスタントだけですが、iOSの英語版でも使えます。Android端末なら、「Sound Search」ウィジェットをホーム画面に貼っておけば、1タップしてからマイクに向かって歌う（ハミングする）だけです。検索結果をタップすると、それぞれ再生もできます。自分のハミングが思わぬ曲になることもあったり、楽しいです。

この連載新着通知をメールで受け取る