音声入力時の感情に合わせて吹き出しを自動作成 興奮時なら“爆発型”など、東大が開発:Innovative Tech
東京大学の研究チームは、吹き出しを用いたテキストチャットにおける感情コミュニケーションを支援するシステムを開発した。音声でテキスト入力する際の感情を読み取り自動で吹き出しを生成する。
Innovative Tech:
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
東京大学の研究チームが開発した「EmoBalloon-Conveying Emotional Arousal in Text Chats with Speech Balloons」は、吹き出しを用いたテキストチャットにおける感情コミュニケーションを支援するシステムだ。音声でテキスト入力する際の感情(発声の音量から予測)を読み取り自動で吹き出し(例えば、感情喚起が高い場合は爆発形吹き出しなど)を生成する。
LINEやWeChat、WhatsAppのようなテキストベースのチャットで感情を表現する場合、絵文字やスタンプを使うのが一般的だろう。
今回はテキストの枠として使用している吹き出しを使って、感情を表現するチャットアプリケーションにおける新たな表示方法を提案する。また、生成した吹き出しの形状がテキストメッセージの感情表現に関する送受信者の一致に及ぼす影響について検討する。
システム開発の第一歩として、日本のマンガ作品109タイトル、総ページ数1万130ページからなる「Manga109データセット」を用い、日本のマンガにおける感情喚起や価値観と吹き出しの形状の関係について調査した。
次に、感情喚起の尺度に応じた新たな吹き出しを生成するために、10万枚の吹き出し画像を用いてACGAN(Auxiliary Classifer Generative Adversarial Network)による機械学習モデルを学習させた。
これにより音声入力を行うことで、検出された音声内容(テキストベースのメッセージ)と発話音量(覚醒度)をもとに、独自の吹き出し画像を生成できる。例えば、覚醒度が高くなるにつれとがった爆発型の吹き出しになる。
今回は、感情吹き出しの音声入力の比較用として手動選択バージョンの入力方法を実装した。手動選択では、直線的な感情喚起スケールに対応する20個のユニークな吹き出しを生成しておき、ユーザーが適宜送信前にスライダーを用いてメッセージに対応する吹き出しを選択する。
比較実験では、音声入力バージョン、手動選択バージョンの他に、絵文字バージョンも加え、3つを対象にユーザー調査を行った。実験の結果、音声入力バージョンは、受信者が感じるテキストメッセージの感情的興奮のレベルを有意に増加させ、またメッセージの送信者と受信者の間で、メッセージで伝えられた感情的興奮のレベルに関する一致度が増加することを示した。
絵文字入力との比較では、絵文字は使い方やコンテキストによって偶然の皮肉が起きたりするが、音声入力による吹き出しの自動生成は専ら感情的な喚起を高めるために表現されるため、絵文字より誤解を与えることなく受信者に興奮度合いを伝えられる可能性を示した。
一方で、音声入力バージョンにおいて、送信者が自分の素の感情が露呈するという、ある種の“負の感情漏れ”を懸念していた可能性を示唆した。
Source and Image Credits: Toshiki Aoki, Rintaro Chujo, Katsufumi Matsui, Saemi Choi, and Ari Hautasaari. 2022. EmoBalloon-Conveying Emotional Arousal in Text Chats with Speech Balloons. In CHI Conference on Human Factors in Computing Systems (CHI ’22). Association for Computing Machinery, New York, NY, USA, Article 527, 1-16. https://doi.org/10.1145/3491102.3501920
関連記事
- 1文字ずつ口パクでスペル入力できるシステム、東大などが技術開発 タイピング速度はスマホに匹敵
東京大学、米ジョージア工科大学などによる研究チームは、口パク(無声発話)で1文字ずつタイピングするハンズフリーの入力システムを開発した。 - 口パクで音声入力できるマスク、東大などが開発 約8割の精度で音声を認識
東京大学と産業技術総合研究所の研究チームは、マスク着用時に口パク(無声発話)による音声入力が行えるマスク型デバイスを開発した。口パクによって変形するマスクを内蔵するセンサーで読み取り、音声アシスタントへの入力コマンドに変換する。 - 「OK Google」「Hey Siri」の微妙な“言い方”を区別し、音声アシスタントの誤認識を軽減 東大などが開発
東京大学大学院情報学環の暦本研究室とソニーコンピュータサイエンス研究所(CSL)の研究チームは、「OK Google」や「Hey Siri」のような音声アシスタントを起動させる音声コマンドの誤認識を軽減する学習ベースの分類モデルを開発した。 - 「金色のガッシュベル!!」の赤い魔本を商品化 本物の紙の本に、音声や発光ギミックを搭載
BANDAI SPIRITSは、テレビアニメ「金色のガッシュベル!!」に登場する赤い魔本を実寸大で再現した「PROPLICA 赤い魔本」を発表した。価格は9900円(税込)で、9月に発売予定。4月28日から、店頭や各ネットサイトで予約を始める。 - 東大、“世界最高性能”のディープフェイク検出AIを開発 フェイクニュースやポルノなどの悪用根絶に期待
東京大学の研究チームは、動画内の人物の顔が本物かどうか判定する、ディープフェイク検出AIを開発した。このAIは、既存研究の性能を大きく上回り、世界最高性能の評価を示したという。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.