キャラクターを逆光背景に溶け込むように合成できるシステム 中京大が開発:Innovative Tech
中京大学濱川研究室の研究チームは、逆光の背景画像と前景となるキャラクターを調和するように合成する自動システムを開発した。背景の光源に合わせて、陰影・輝度値・色を調整し背景画像に溶け込むようにキャラクターを加工する。
Innovative Tech:
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
中京大学濱川研究室の研究チームが開発した「陰を利用した人物イラストと背景画像の自動調和システム」は、逆光の背景画像と前景となるキャラクターを調和するように合成する自動システムだ。背景の光源に合わせて、陰影・輝度値・色を調整し背景画像に溶け込むようにキャラクターを加工する。
キャラクターと背景画像を合成した場合、特段加工しなければ、背景の上にキャラクターがただ重ねられた、不自然に目立つ状態になる。
このような合成を背景に溶け込むようにするには、幾何学的整合性(背景の正しい位置にキャラクターを配置すること)と光学的整合性(背景とキャラクターの光の当たり方による陰影を同じにすることなど)を行わなければならない。今回は後者の光学的整合性に着目し、合成時に調整できるようにした。
システムでは、背景の光源(光源の位置や明るさ、色)を特定し、その光源に対して キャラクターの輝度調整(明るさの統一)、陰影の追加、光色彩色の調整(色の統一)を行う。それらに加え、逆光表現の追加と背景にぼかし表現を入れる。
具体的には、まず光源の特定を輝度判定、色抽出、収縮処理などで行う。次に、輝度調整ではキャラクターをグレースケールにしてから全画素の平均値をとり、背景輝度に適応する。陰の生成では、キャラクターを線画にしてから光源と組み合わせて深層学習で影になる領域と光が当たる領域を予測する。
光が当たる領域は、例えば夕日に当たるとオレンジ色っぽくなるように、システムでも光源に基づいた光の色をキャラクターに付加している。さらに、輪郭付近の逆光表現も生成し背後からの光を表現している。実世界の逆光では、人物が暗くなるが、今回はキャラクターを引き立てるために明るめで処理している。
背景のぼかしでは、奥行き感やキャラクターを魅力的に引き立てるために、顔と背景のサイズを比較しながら4段階のぼかし表現を用意した。
こちらの動画では、実際にソフトウェア上で加工しているデモの様子を確認できる。
本研究は、2022年2月28日(月)〜3月2日(水)に情報処理学会主催で開催の「INTERACTION 2022」で発表された。
出典および画像クレジット: 小瀬 将史,片山 泰輔,豊田 麻友,牧野 貴斗,濱川 礼. “陰を利用した人物イラストと背景画像の自動調和システム” 情報処理学会インタラクション2022.
関連記事
- 「頭をなでる」「ビンタ」「ハグの拒否」などアバター同士の接触を滑らかにするVR技術、東工大が開発
東京工業大学長谷川研究室の研究チームは、バーチャル空間でアバター同士もしくは3Dオブジェクトとの接触の際に、両者が自然な動きで表現できる技術を開発した。頭をなでる、ハグするなどの動きを滑らかなリアクションで表現する。 - トリミングではなく、写真を拡張して良い構図を提案 AIが適切な背景を自動合成
中国の南開大学とTencent AI Lab、韓国のXverseの研究チームは、写真内を切り抜くのではなく、広げる方法で被写体に合わせた構図にして出力する、深層学習を使った外向きクロッピング手法を開発した。 - VRキャラクターに耳を「フー」してもらえるヘッドフォン、東大が開発 風源なしで温冷風を再現
東京大学 Human & Environment Informatics Labの研究チームは、物理的なファンによる風がないにもかかわらず、風の感覚を耳で得られるヘッドフォン型ウェアラブルデバイスを開発した。 - 「持ち上げて伸びるネコの骨や肉を感じる」――猫の体内をリアルに再現したロボット 大阪芸大などが開発
大阪芸術大学とATR(国際電気通信基礎研究所)の研究チームは、呼吸や身体に触れたときの動作などを忠実に再現する猫型ロボットを開発した。リラックスした猫を持ち上げた際の柔軟に伸びる特徴と呼吸の表現にこだわった。 - ランナーの少し前にバーチャルキャラクターを走らせたらどうなる? 東大と豊技大が検証
東京大学と豊橋技術科学大学の研究チームは、自分の前にバーチャルキャラクターを走らせるとランナーはどう感じるかを検証した論文を発表した。
Copyright © ITmedia, Inc. All Rights Reserved.