ピアニストは演奏にどんな感情を込めるか？ 顔の表情をAI分析 作曲者が込めて欲しい感情と比較：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

Twitter: ＠shiropen2

　国士舘大学に所属する研究者らが発表した論文「顔の表情推定によるピアニスト独自の演奏表現抽出のための提案」は、ピアニストが演奏にどのような感情を込めているかを演奏中の顔の表情から分析する手法を提案した研究報告である。また、表情から抽出した感情と楽譜から読み取れる作曲者が込めて欲しい感情との比較を行い、その差を考察する。

ピアノ演奏中に表情分析を行っている様子

　楽譜に記載されている指示だけでは心に響く音楽を奏でることが難しく、聴取者の心に響かせるためには演奏者が自身の感情を演奏に込める必要があるとされている。この研究では「顔の表情が内面的な感情と強い相関がある」という仮定のもと、演奏時のピアニストの顔の表情から感情を推定し、どのように演奏を表現しているかを分析する。

　具体的には、顔の表情分析AIを使用してピアニストの感情を検出し、顔の画像から「喜び」「悲しみ」「怒り」「驚き」の4つの基本感情を識別し、それぞれの感情に対して6段階の評価を行う。

　次にそれらの感情と、演奏表現を指示する「発想標語」を比較し、どのように楽譜の指示とピアニストの感情が一致するか、または異なるかを観察する。発想標語とは、音楽用語で演奏者に対して演奏時の心構えや表現のイメージを伝えるために使われるものである。

　例えば、fantastico（空想的に、自由奔放に）やrullante（転がるように）など、作曲者から演奏者に対してその楽曲や旋律をどのように表現して欲しいかが抽象的に書かれている。しかし、発想標語は抽象的なため、表情から分析した感情との比較を可能にするには、発想標語の音楽的性質から感情で定義する必要がある。

提案手法の概要

　この研究では、音楽聴取実験から得られた感情価測定尺度やHevnerの感情の8分類システムを参照し、発想標語を7つの感情（高揚、抑鬱、親和、強さ、軽さ、荘厳、喜び）で定義する。これらの感情の組み合わせにより、顔の表情推定からの感情と発想標語からの感情の比較を可能にする。

音楽が内包する感情選出

　実験では「第18回ショパン国際ピアノコンクール」の演奏動画を対象に、プロと上級者レベルのピアニストの演奏中の表情分析を行った。この分析では、コンクール課題曲の中から特に頻繁に選ばれる上位4曲を選択し、これらの楽曲内で特に発想標語が反映されていると思われる10個のフレーズに焦点を当てた。

　その結果、楽曲を問わず各演奏フレーズにおいて頻繁に検出される感情は、演奏フレーズの発想標語のイメージから連想される感情の表現に一致していた。例えば、発想標語「con forza」（火のように、生き生きと）では、喜びが最も多く検出でき、これは発想標語としての期待と一致している。

　一方、ピアニストによっては感情の出現度合いや2番目以降に検出される感情の要素などで異なるところがあった。例えば、発想標語「espressivo」（表情豊かに、感情を込めて）では、あるピアニストは「悲しみ」と「喜び」が同程度に検出されており、発想標語に忠実な演奏であるが、他のピアニストは主に「悲しみ」を表現しており発想標語と異なっていた。

ピアニスト2（オレンジ）はsorrow（悲しみ）とjoy（喜び）が同程度で検出されているが、ピアニスト1（青）と3（灰色）はsorrow（悲しみ）だけを表現しており、発想標語からの感情とは異なる

　これらの結果から、多くのピアニストが基本的に楽譜の発想標語に基づいた演奏をしているが、個々のピアニストによって楽譜の指示と異なる独自の演奏表現が見られることもあった。

　ピアニストが楽譜と異なる演奏表現を行う背景には、ピアノ演奏における基礎的な技術を既に習得していること、演奏技術よりも演奏表現が審査の対象となるコンクール曲を選択していることが挙げられる。すなわち、楽譜と異なる演奏表現は、ピアニストがより心に響く音楽を奏でるために意図的に行っている可能性が高い。

　心に響く音楽は、楽譜に記載された表現の指示記号だけでなく、作曲者の意図や作曲時の時代背景、そしてそれらを踏まえたピアニスト自身の感情を加えた演奏によって実現される。

　例えば、発想標語「dolce」の演奏において、「喜び」が期待されるところ、ピアニストからは「悲しみ」の感情を多く検出できた。これは、曲の歴史的背景（例えば作曲者ショパンの出身地で革命が起きた時期）やピアニストの解釈により、「悲しみ」の表現が重要視された結果であると考えられる。

Source and Image Credits: 鏡味 ほのか, 中村 嘉志. 顔の表情推定によるピアニスト独自の演奏表現抽出のための提案. 情報処理学会 研究報告ヒューマンコンピュータインタラクション（HCI） 2024-HCI-207, 9, 1 - 7, 2024-03-04