キャラクターを逆光背景に溶け込むように合成できるシステム 中京大が開発：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　中京大学濱川研究室の研究チームが開発した「陰を利用した人物イラストと背景画像の自動調和システム」は、逆光の背景画像と前景となるキャラクターを調和するように合成する自動システムだ。背景の光源に合わせて、陰影・輝度値・色を調整し背景画像に溶け込むようにキャラクターを加工する。

（左）単純な合成画像、（右）この手法で出力した合成画像　人物イラスト(C)質量欠損

（左）単純な合成画像、（右）ぼかし表現と逆光表現を追加したこの手法の出力結果　人物イラスト(C)にわとり小屋

（左）単純な合成画像、（右）逆光表現を追加したこの手法の出力結果　人物イラスト(C)ぼうずくらぶ

　キャラクターと背景画像を合成した場合、特段加工しなければ、背景の上にキャラクターがただ重ねられた、不自然に目立つ状態になる。

　このような合成を背景に溶け込むようにするには、幾何学的整合性（背景の正しい位置にキャラクターを配置すること）と光学的整合性（背景とキャラクターの光の当たり方による陰影を同じにすることなど）を行わなければならない。今回は後者の光学的整合性に着目し、合成時に調整できるようにした。

　システムでは、背景の光源（光源の位置や明るさ、色）を特定し、その光源に対して　キャラクターの輝度調整（明るさの統一）、陰影の追加、光色彩色の調整（色の統一）を行う。それらに加え、逆光表現の追加と背景にぼかし表現を入れる。

この手法の概要図　人物イラスト(C)質量欠損

　具体的には、まず光源の特定を輝度判定、色抽出、収縮処理などで行う。次に、輝度調整ではキャラクターをグレースケールにしてから全画素の平均値をとり、背景輝度に適応する。陰の生成では、キャラクターを線画にしてから光源と組み合わせて深層学習で影になる領域と光が当たる領域を予測する。

システムの概要図　人物イラスト(C)質量欠損

　光が当たる領域は、例えば夕日に当たるとオレンジ色っぽくなるように、システムでも光源に基づいた光の色をキャラクターに付加している。さらに、輪郭付近の逆光表現も生成し背後からの光を表現している。実世界の逆光では、人物が暗くなるが、今回はキャラクターを引き立てるために明るめで処理している。

（左）逆光がない画像、（右）逆光を追加した画像　人物イラスト(C)質量欠損

　背景のぼかしでは、奥行き感やキャラクターを魅力的に引き立てるために、顔と背景のサイズを比較しながら4段階のぼかし表現を用意した。

　こちらの動画では、実際にソフトウェア上で加工しているデモの様子を確認できる。

　本研究は、2022年2月28日（月）〜3月2日（水）に情報処理学会主催で開催の「INTERACTION　2022」で発表された。

出典および画像クレジット: 小瀬 将史，片山 泰輔，豊田 麻友，牧野 貴斗，濱川 礼. “陰を利用した人物イラストと背景画像の自動調和システム” 情報処理学会インタラクション2022.