感情を表現する字幕、AIが自動生成　DNPとNHKテクノロジーズが試作

　大日本印刷（DNP）は8月24日、AIでテレビ番組の音声と映像を解析し、発言者の感情に合ったフォントで字幕を自動生成するシステムを発表した。NHKテクノロジーズと共同でプロトタイプを開発した。クローズドキャプション（視聴者がオン／オフできる字幕機能）に応用することで、耳の不自由な人にも番組の臨場感を伝えられるという。

「感情表現字幕システム」の使用イメージ

　音声認識AIで発言をテキスト変換しながら内容を分析。同時に画像解析AIが発言者の表情から感情を推測し、例えば楽しい内容には丸みのあるフォント、怒っているときは角張ったフォントを自動選択する。フォント選択には、2018年にDNPがSNS向けに開発した「DNP感情表現フォントシステム」を活用した。

感情の分類と使用フォントは「DNP感情表現フォントシステム」と同じ

　画像解析AIの併用により、「例えば『やばい』などシチュエーションによって意味が変わる言葉でも正しいイメージのフォントを選択できる」という。また画像解析で発話者を特定し、自動的に口元近くに字幕を表示する機能もある。

画像解析を併用して適切なフォントを選ぶ

　今後はNHKの字幕放送（クローズドキャプション）で実用化を目指し、AIの精度向上などを図る他、生放送やネット同時配信サービスへの展開も検討する。DNPは音を出せない場所に設置するデジタルサイネージへの応用や、誰でも字幕を作れる映像編集用ソフトウェアとしても展開する計画だ。

印刷する

SNSでシェア

関連記事

• 

  「皮膚に貼れるディスプレイ」がフルカラー化　スマホと連携、肌にハートや「いいね」マークを表示

• 

  “次世代型”楽譜サービス、DNPが提供　タブレットで瞬時に「移調」、楽譜を「BOOTH」で販売も

• 

  話題や絵文字に合わせてフォントを自動変換するシステム、DNPが開発

こんなメディアも見られています

ITmedia NEWSに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。

企業ITのトレンドを詳説

ITmedia エンタープライズ

エネルギーの専門メディア

スマートジャパン

建設×テクノロジーの最前線

BUILT

ビジネスと働き方のヒント

ITmedia ビジネスオンライン