Innovative Tech

キャラクターを逆光背景に溶け込むように合成できるシステム　中京大が開発

　中京大学濱川研究室の研究チームが開発した「陰を利用した人物イラストと背景画像の自動調和システム」は、逆光の背景画像と前景となるキャラクターを調和するように合成する自動システムだ。背景の光源に合わせて、陰影・輝度値・色を調整し背景画像に溶け込むようにキャラクターを加工する。

　キャラクターと背景画像を合成した場合、特段加工しなければ、背景の上にキャラクターがただ重ねられた、不自然に目立つ状態になる。

　このような合成を背景に溶け込むようにするには、幾何学的整合性（背景の正しい位置にキャラクターを配置すること）と光学的整合性（背景とキャラクターの光の当たり方による陰影を同じにすることなど）を行わなければならない。今回は後者の光学的整合性に着目し、合成時に調整できるようにした。

　システムでは、背景の光源（光源の位置や明るさ、色）を特定し、その光源に対して　キャラクターの輝度調整（明るさの統一）、陰影の追加、光色彩色の調整（色の統一）を行う。それらに加え、逆光表現の追加と背景にぼかし表現を入れる。

　具体的には、まず光源の特定を輝度判定、色抽出、収縮処理などで行う。次に、輝度調整ではキャラクターをグレースケールにしてから全画素の平均値をとり、背景輝度に適応する。陰の生成では、キャラクターを線画にしてから光源と組み合わせて深層学習で影になる領域と光が当たる領域を予測する。

　光が当たる領域は、例えば夕日に当たるとオレンジ色っぽくなるように、システムでも光源に基づいた光の色をキャラクターに付加している。さらに、輪郭付近の逆光表現も生成し背後からの光を表現している。実世界の逆光では、人物が暗くなるが、今回はキャラクターを引き立てるために明るめで処理している。

　背景のぼかしでは、奥行き感やキャラクターを魅力的に引き立てるために、顔と背景のサイズを比較しながら4段階のぼかし表現を用意した。

　こちらの動画では、実際にソフトウェア上で加工しているデモの様子を確認できる。

　本研究は、2022年2月28日（月）～3月2日（水）に情報処理学会主催で開催の「INTERACTION　2022」で発表された。

出典および画像クレジット: 小瀬 将史，片山 泰輔，豊田 麻友，牧野 貴斗，濱川 礼. “陰を利用した人物イラストと背景画像の自動調和システム” 情報処理学会インタラクション2022.

この記事の著者

関連記事

• 

  「頭をなでる」「ビンタ」「ハグの拒否」などアバター同士の接触を滑らかにするVR技術、東工大が開発

• 

  トリミングではなく、写真を拡張して良い構図を提案　AIが適切な背景を自動合成

• 

  VRキャラクターに耳を「フー」してもらえるヘッドフォン、東大が開発　風源なしで温冷風を再現

• 

  「持ち上げて伸びるネコの骨や肉を感じる」――猫の体内をリアルに再現したロボット　大阪芸大などが開発

• 

  ランナーの少し前にバーチャルキャラクターを走らせたらどうなる？　東大と豊技大が検証