感情を表現する字幕、AIが自動生成 DNPとNHKテクノロジーズが試作

AIでテレビ番組の映像と音声を解析し、内容に合ったフォントで字幕を自動生成するシステムを大日本印刷（DNP）とNHKテクノロジーズが開発。クローズドキャプションでの実用化を目指す。

[ITmedia]

　大日本印刷（DNP）は8月24日、AIでテレビ番組の音声と映像を解析し、発言者の感情に合ったフォントで字幕を自動生成するシステムを発表した。NHKテクノロジーズと共同でプロトタイプを開発した。クローズドキャプション（視聴者がオン／オフできる字幕機能）に応用することで、耳の不自由な人にも番組の臨場感を伝えられるという。

「感情表現字幕システム」の使用イメージ

　音声認識AIで発言をテキスト変換しながら内容を分析。同時に画像解析AIが発言者の表情から感情を推測し、例えば楽しい内容には丸みのあるフォント、怒っているときは角張ったフォントを自動選択する。フォント選択には、2018年にDNPがSNS向けに開発した「DNP感情表現フォントシステム」を活用した。

感情の分類と使用フォントは「DNP感情表現フォントシステム」と同じ

　画像解析AIの併用により、「例えば『やばい』などシチュエーションによって意味が変わる言葉でも正しいイメージのフォントを選択できる」という。また画像解析で発話者を特定し、自動的に口元近くに字幕を表示する機能もある。

画像解析を併用して適切なフォントを選ぶ

　今後はNHKの字幕放送（クローズドキャプション）で実用化を目指し、AIの精度向上などを図る他、生放送やネット同時配信サービスへの展開も検討する。DNPは音を出せない場所に設置するデジタルサイネージへの応用や、誰でも字幕を作れる映像編集用ソフトウェアとしても展開する計画だ。