表情豊かなキャラクター作成を深層学習で　中国チームが制作システムとデータセット公開：Innovative Tech

6種類の感情表現をつけたキャラクターが作成できる。

LINE

Hatena

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　iDVX Lab、同済大学、香港科技大学による中国の研究チームが開発した「EmoG」は、ユーザーが手書きでスケッチした人物に対し、「幸せ」や「怒り」など6つの感情表現を自動生成するシステムだ。自動生成の提案に対し、ユーザーは調整を加えて好みの絵に仕上げられる。

EmoGを用いると、初心者でも表情豊かなキャラクターに仕上げることが可能だ

　EmoGのユーザーインタフェースは、キャラクター作成ページとストーリーボード作成ページの2つのページで構成される。

EmoGのユーザーインタフェース。（a）キャラクター作成ページ、（b）ストーリーボード作成ページ

　ユーザーは、最初にキャラクター作成ページで素の表情の顔を描き、次にストーリーボード作成ページで提案される表情のタイプ、強さ、性別、角度をインタラクティブに調整し仕上げる。

　これにより、初心者でも表情豊かなキャラクターが容易に作成可能だ。ユーザー調査でも、有用性、使いやすさ、出力結果の質がフリーハンドよりも有意に優れているという声が多かったという。

フリーハンドとEmoGの出力結果を比較した図

　表情の一覧には、自然、幸せ、悲しみ、怒り、恐怖、驚き、うんざりの6種類が提示され、これらの表情には深層学習で訓練したモデルが適用される。データセットも独自で収集し「FaceX」として公開している。

　FaceXは、デザイナーが描いた20万以上の顔スケッチで構成され、性別、顔の角度、感情で分類された500万以上のラベルが付いた大規模データセットだ。

FaceXには性別、顔の角度、表情で分類されたデータが含まれる