同じ楽曲に対する歌い方の違いを分析 歌声を可視化し、歌唱技術向上に活用:Innovative Tech(2/2 ページ)
お茶の水女子大学と産業技術総合研究所の研究チームは、同じ楽曲を多くの人が歌っている「同曲異唱コンテンツ」に対し、歌の基本周波数(F0)の推移をヒートマップや折れ線グラフで可視化するシステムを開発した。
実行例には、「Let It Go」を23万1278人が歌った同曲異唱の無伴奏音響データから、1000人分を無作為抽出して適用した。Detailで使う歌唱力評価結果は、1人の評価者(12年間ピアノの指導を受けた経験がある者)が各歌唱を5段階のリッカート尺度に基づいて主観評価した。可視化した結果(以下の画像)から、どのように分析するかを見てみる。
Overviewでは、歌唱声域全体を可視化するため、あえて異なる音高をとる歌唱者がいるフレーズを発見したり(ヒートマップが黒い箇所ほど多くの歌唱者が同一音高で発声している)、幅広い周波数帯域に歌唱が分散するフレーズを発見したりできる。
例えば、分散が大きい箇所は「歌い方が異なる」「難しいので多くの人が間違える」といった可能性があり、歌唱力が高くて異なった歌い方をしている歌唱者や、重点的に練習すべき箇所として分析できる。
Detailでは、歌唱評価が高いほど赤く、低いほど青い折れ線グラフで表示される。上図のDetail(1)、(2)は、いずれも音階が下降した後にロングトーンがある。Detail(1)は赤い折れ線グラフが太い帯を形成しており、高評価な歌唱であってもF0に幅があった。
それに対してDetail(2) は、少数の高評価の歌唱者が半音単位で異なるF0で発声し、何人かの低評価の歌唱者がそれ以上に大きくF0を外していた。 Detail(3)、(4)、(5) は、いずれも音階が大きく上下するフレーズである。
高評価な歌唱と低評価の歌唱とではF0の正確さが異なることが観察できた。Detail(5)、(6) では(1)と同様に、フレーズの末尾において、高評価な歌唱者であってもF0に幅があった。
次に、Detailから特定の折れ線グラフに注目して、特定歌唱者のOverviewに重ねて表示した例から分析してみる。
高評価な歌唱の多くに同様なF0推移を確認できた。それに対して少数ながら、上図の(2)のように、多数の歌唱者とは異なるF0推移を有しながらも高評価を得ている歌唱もあった。歌唱技法(ビブラートなど)のスタイルや癖、タイミングのずれ、F0誤推定などの理由が考えられる。
一方で低評価な歌唱の中には、多数の歌唱者F0推移に近い上図の(3)と、多数の歌唱者のF0推移から大きく離れた上図の(4)が見られた。前者はF0推移には表れない声質の問題(声が細い、舌足らず)や、声域の狭さ(高音部・低音部に難がある)などが原因で、低評価につながったと考えられる。
といったように、同曲異唱コンテンツをヒートマップや折れ線グラフを使って可視化することで歌い方の傾向が見え、大規模な同曲異唱データの中から特徴的な歌唱をインタラクティブに発見できる。
将来的には、多数の歌唱者の中から自分がお手本としたい歌唱者・歌唱技法を発見し、習うことで歌唱力を向上させる、といった一連のタスクを支援するインタフェースとして拡張したいという。
他に自身の反復練習によってどのフレーズにおいてどの程度上達したかの情報を理解するのにも役立てたいという。さらには、歌唱に限らず楽器演奏やスポーツなど、お手本としたい人や技術を探したい分野においても、同手法を適応したいという。
なお、本論文は、日本ソフトウェア科学会 インタラクティブシステムとソフトウェア研究会が主催する「WISS 2021」にて最優秀論文賞に選ばれている。WISS発表時のデモ映像はこちら。
関連記事
- 太さ0.6mmの糸型バッテリー、米MITや米軍などが開発 電源を含んだ服などを作成可能
米マサチューセッツ工科大学(MIT)や中国の華中科技大学、韓国の慶熙大学校、米U.S. Army Research Laboratoryの研究チームは、糸のように細い熱延リチウムイオン繊維電池を開発した。 - 勃起を監視するコンドーム型デバイス ペニスの長さと円周を測定、遠隔医療に活用
韓国の漢陽大学校とKorea Electronics Technology Institute、Daegu-Gyeongbuk Medical Innovation Foundation(DGMIF)による研究チームは、勃起前後のペニスの長さや太さ、曲がり具合を測定するコンドーム型ウェアラブルデバイスを開発した。 - テキストから御朱印を自動生成するシステム、筑波大が開発 寺社1000カ所以上から御朱印収集、データ化
筑波大学落合研究室の研究チームは、テキストから御朱印を自動生成する学習ベースのシステムを開発。訓練用のデータセットは、寺社1000カ所以上を訪問し取得した御朱印を基に大規模にデータ化した。 - ジョジョのキャラクター風に顔写真を変換する「JoJoGAN」 1枚の画像からAIが学習
米イリノイ大学アーバナ・シャンペーン校の研究チームは、入力した1枚の顔画像を漫画「ジョジョの奇妙な冒険」のキャラクター風に変換する機械学習フレームワークを開発した。「空条承太郎」など、作中のキャラクターに似せた顔に変換する。 - VRキャラクターに耳を「フー」してもらえるヘッドフォン、東大が開発 風源なしで温冷風を再現
東京大学 Human & Environment Informatics Labの研究チームは、物理的なファンによる風がないにもかかわらず、風の感覚を耳で得られるヘッドフォン型ウェアラブルデバイスを開発した。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.