Innovative Tech:
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
中国・清華大学の研究チームが開発した「Robust 3D Self-portraits in Seconds」は、1台のRGB-Dカメラ( カラー画像の他に深度画像を取得できるカメラ、今回はMicrosoft Kinect v2)から、衣服を着た人物の3次元モデルを効率的に再構築するフレームワークだ。対象人物が自分で数秒回るだけで、質感ある3次元データを生成できる。
3次元の人物像を再構築する場合、学習(単一のRGB画像から深層学習で再構築する手法)、Fusion(深度画像を結合して3次元シーンを再構築する手法)、バンドル調整(複数位置から撮影した画像間の対応点からシーンの3次元形状を計算する手法)の3つが主に用いられる。今回の手法では、これら3つの長所を生かしたアプローチを採用した。
まず、取得した被験者のRGB-Dフレームから深層学習を用いて大まかな3次元モデルを事前生成する。次に、被験者自身に回ってもらい、その間のさまざまな角度から、部分的な人体形状を生成。最後にバンドル調整により全ての人体形状を結合し、精密な3次元人物像を出力する。
これにより出力した3次元モデルは、衣服のひだなどの細部のテクスチャまで含めて再現され、他の類似研究と比べても良い結果を示したという。また、これらの処理が数秒で行えることも実証した。
関連記事
- プロジェクションマッピングで硬いものでも「ぷるんぷるん」 東大「ElaMorph Projection」開発
弾力があるかのように見せかける技術だが、その映像をリアルタイムでレンダリングしている。 - オンライン飲み会で「お酌」、乾杯も再現する「そそぎそそがせ」 阪大が開発
一緒に飲む相手がそこにいなくても大丈夫。 - 顔の表情をアバターに即時反映して表示する画面付きフルフェイスマスク 「デジタルカメン」誕生
装着している人の表情がディスプレイに反映される仕組みは世の中に受け入れれられるか。 - 「自分くすぐり」でストレス緩和? 他人にくすぐられている感覚得られる「くすぐってみ〜な」を奈良先端大が開発
VRとゴム手袋を応用して、自分でやってもくすぐったくなるそうだ。 - “内なる感情”をARで可視化する「Neo-Noumena」
相手の周りに感情を示す図形が浮かぶ。その助けによってコミュニケーションが改善されるとという。 - 動きで色が変わるナノフィルム “カメレオンの肌”も再現可能?
このフィルムを巻き付ければ、自在に色を変えられる。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.