音声入力時の感情に合わせて吹き出しを自動作成 興奮時なら“爆発型”など、東大が開発：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　東京大学の研究チームが開発した「EmoBalloon-Conveying Emotional Arousal in Text Chats with Speech Balloons」は、吹き出しを用いたテキストチャットにおける感情コミュニケーションを支援するシステムだ。音声でテキスト入力する際の感情（発声の音量から予測）を読み取り自動で吹き出し（例えば、感情喚起が高い場合は爆発形吹き出しなど）を生成する。

EmoBalloonのシステム概要

　LINEやWeChat、WhatsAppのようなテキストベースのチャットで感情を表現する場合、絵文字やスタンプを使うのが一般的だろう。

　今回はテキストの枠として使用している吹き出しを使って、感情を表現するチャットアプリケーションにおける新たな表示方法を提案する。また、生成した吹き出しの形状がテキストメッセージの感情表現に関する送受信者の一致に及ぼす影響について検討する。

　システム開発の第一歩として、日本のマンガ作品109タイトル、総ページ数1万130ページからなる「Manga109データセット」を用い、日本のマンガにおける感情喚起や価値観と吹き出しの形状の関係について調査した。

Manga109データセットのサンプル（c）八神健（Ken Yagami）

　次に、感情喚起の尺度に応じた新たな吹き出しを生成するために、10万枚の吹き出し画像を用いてACGAN（Auxiliary Classifer Generative Adversarial Network）による機械学習モデルを学習させた。

　これにより音声入力を行うことで、検出された音声内容（テキストベースのメッセージ）と発話音量（覚醒度）をもとに、独自の吹き出し画像を生成できる。例えば、覚醒度が高くなるにつれとがった爆発型の吹き出しになる。

（左）EmoBalloonで生成した吹き出し、（右）EmoBalloonを使用していない吹き出し

　今回は、感情吹き出しの音声入力の比較用として手動選択バージョンの入力方法を実装した。手動選択では、直線的な感情喚起スケールに対応する20個のユニークな吹き出しを生成しておき、ユーザーが適宜送信前にスライダーを用いてメッセージに対応する吹き出しを選択する。

　比較実験では、音声入力バージョン、手動選択バージョンの他に、絵文字バージョンも加え、3つを対象にユーザー調査を行った。実験の結果、音声入力バージョンは、受信者が感じるテキストメッセージの感情的興奮のレベルを有意に増加させ、またメッセージの送信者と受信者の間で、メッセージで伝えられた感情的興奮のレベルに関する一致度が増加することを示した。

　絵文字入力との比較では、絵文字は使い方やコンテキストによって偶然の皮肉が起きたりするが、音声入力による吹き出しの自動生成は専ら感情的な喚起を高めるために表現されるため、絵文字より誤解を与えることなく受信者に興奮度合いを伝えられる可能性を示した。

　一方で、音声入力バージョンにおいて、送信者が自分の素の感情が露呈するという、ある種の“負の感情漏れ”を懸念していた可能性を示唆した。

Source and Image Credits: Toshiki Aoki, Rintaro Chujo, Katsufumi Matsui, Saemi Choi, and Ari Hautasaari. 2022. EmoBalloon-Conveying Emotional Arousal in Text Chats with Speech Balloons. In CHI Conference on Human Factors in Computing Systems (CHI ’22). Association for Computing Machinery, New York, NY, USA, Article 527, 1-16. https://doi.org/10.1145/3491102.3501920