手描きキャラクターに深層学習で影 カラーでも：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　米メリーランド大学ボルチモアカウンティ校とProject HATによる研究チームが開発した「Learning to Shadow Hand-drawn Sketches」は、キャラクターに影を自動的に追加できる、深層学習を用いた手法だ。

影の出力結果

　影付きスケッチを直接生成するのではなく、スケッチとは別に影画像だけを生成しているのが特徴。このため、スケッチと影を別々のレイヤーにし、それぞれを別個に編集できる。生成した影はそのまま使用でき、より高い品質を望む場合にはユーザーがさらに修正できる。

　提案モデルは、 GAN（Generative Adversarial Network）をベースに、2次元スケッチから3次元構造をエンコードするShapeNetと、エンコードされた構造に基づいて影をレンダリングするRenderNetの2部から構成される。

GANをベースにしたアーキテクチャ

　プロのアーティストの助けを借りて手動で照明方向をタグ付けした線画1160組が含まれるデータセットを学習用に作成。照明は、オブジェクトを中心に2×2の立方体で形成する26方向で定義する。

スケッチと影がペアになったデータセットのサンプル。太陽のマークは光源の位置を示す

　学習されたモデルは、リムライティングやバックライティングなどの特殊なライティングも含め、任意の光源位置からの影を詳細に生成し、法線マッピングを用いる類似研究と比べても、より自然に出力できたという。

出力結果を先行研究（DeepNormalとSketch2Normal）と比較した図

　カラー画像からの影生成、絵から背景を除いて人物のみに影を生成するといった応用にも成功している。

カラー画像でも影を自動生成し合成できる

画像内の人物だけの影を生成し合成することも可能

　本モデルを用いたライブデモも登場している。