Innovative Tech

同じ楽曲に対する歌い方の違いを分析　歌声を可視化し、歌唱技術向上に活用（2/2 ページ）

　実行例には、「Let It Go」を23万1278人が歌った同曲異唱の無伴奏音響データから、1000人分を無作為抽出して適用した。Detailで使う歌唱力評価結果は、1人の評価者（12年間ピアノの指導を受けた経験がある者）が各歌唱を5段階のリッカート尺度に基づいて主観評価した。可視化した結果（以下の画像）から、どのように分析するかを見てみる。

　Overviewでは、歌唱声域全体を可視化するため、あえて異なる音高をとる歌唱者がいるフレーズを発見したり（ヒートマップが黒い箇所ほど多くの歌唱者が同一音高で発声している）、幅広い周波数帯域に歌唱が分散するフレーズを発見したりできる。

　例えば、分散が大きい箇所は「歌い方が異なる」「難しいので多くの人が間違える」といった可能性があり、歌唱力が高くて異なった歌い方をしている歌唱者や、重点的に練習すべき箇所として分析できる。

　Detailでは、歌唱評価が高いほど赤く、低いほど青い折れ線グラフで表示される。上図のDetail（1）、（2）は、いずれも音階が下降した後にロングトーンがある。Detail（1）は赤い折れ線グラフが太い帯を形成しており、高評価な歌唱であってもF0に幅があった。

　それに対してDetail（2） は、少数の高評価の歌唱者が半音単位で異なるF0で発声し、何人かの低評価の歌唱者がそれ以上に大きくF0を外していた。 Detail（3）、（4）、（5） は、いずれも音階が大きく上下するフレーズである。

　高評価な歌唱と低評価の歌唱とではF0の正確さが異なることが観察できた。Detail（5）、（6） では（1）と同様に、フレーズの末尾において、高評価な歌唱者であってもF0に幅があった。

　次に、Detailから特定の折れ線グラフに注目して、特定歌唱者のOverviewに重ねて表示した例から分析してみる。

　高評価な歌唱の多くに同様なF0推移を確認できた。それに対して少数ながら、上図の（2）のように、多数の歌唱者とは異なるF0推移を有しながらも高評価を得ている歌唱もあった。歌唱技法（ビブラートなど）のスタイルや癖、タイミングのずれ、F0誤推定などの理由が考えられる。

　一方で低評価な歌唱の中には、多数の歌唱者F0推移に近い上図の（3）と、多数の歌唱者のF0推移から大きく離れた上図の（4）が見られた。前者はF0推移には表れない声質の問題（声が細い、舌足らず）や、声域の狭さ（高音部・低音部に難がある）などが原因で、低評価につながったと考えられる。

　といったように、同曲異唱コンテンツをヒートマップや折れ線グラフを使って可視化することで歌い方の傾向が見え、大規模な同曲異唱データの中から特徴的な歌唱をインタラクティブに発見できる。

　将来的には、多数の歌唱者の中から自分がお手本としたい歌唱者・歌唱技法を発見し、習うことで歌唱力を向上させる、といった一連のタスクを支援するインタフェースとして拡張したいという。

　他に自身の反復練習によってどのフレーズにおいてどの程度上達したかの情報を理解するのにも役立てたいという。さらには、歌唱に限らず楽器演奏やスポーツなど、お手本としたい人や技術を探したい分野においても、同手法を適応したいという。

　なお、本論文は、日本ソフトウェア科学会 インタラクティブシステムとソフトウェア研究会が主催する「WISS 2021」にて最優秀論文賞に選ばれている。WISS発表時のデモ映像はこちら。

この記事の著者

関連記事

• 

  太さ0.6mmの糸型バッテリー、米MITや米軍などが開発　電源を含んだ服などを作成可能

• 

  勃起を監視するコンドーム型デバイス　ペニスの長さと円周を測定、遠隔医療に活用

• 

  テキストから御朱印を自動生成するシステム、筑波大が開発　寺社1000カ所以上から御朱印収集、データ化

• 

  ジョジョのキャラクター風に顔写真を変換する「JoJoGAN」　1枚の画像からAIが学習

• 

  VRキャラクターに耳を「フー」してもらえるヘッドフォン、東大が開発　風源なしで温冷風を再現