Innovative Tech:
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
英インペリアル・カレッジ・ロンドン(ICL)、スイス・ルガーノ大学、英Ariel AI、米Twitterによる研究チームが開発した「Weakly-Supervised Mesh-Convolutional Hand Reconstruction in the Wild」は、動画から人の手の3次元モデルを予測する、深層学習を用いた手法だ。1台の単眼カメラで撮影したRGB映像から、手の動的3次元メッシュを生成する。
自然環境での動作を想定しており、主にYouTubeの動画から収集した手の動きの大規模データセットを用いて学習を行う。さらに収集した動画から自動的にデータを生成するシステムを構築し、訓練とテスト用のデータセットを作成している。
画像座標系でメッシュを直接再構築する「エンコーダ・デコーダ」モデルを採用。OpenPoseにより手のキーポイントを検出し、変形可能なモデルを反復的に合致させることで3次元形状を生成する。
学習したモデルを異なるデータセットで評価した結果、非常にシンプルなモデルながら、ポーズ推定とメッシュ再構築で、従来の類似モデルを大きく上回る性能を示したという。
スマートフォンを使用してリアルタイムで手のトラッキングを行うデモにも成功しており、ARアプリケーションのハンドジェスチャー入力などを実証している。
関連記事
- プロジェクションマッピングで硬いものでも「ぷるんぷるん」 東大「ElaMorph Projection」開発
弾力があるかのように見せかける技術だが、その映像をリアルタイムでレンダリングしている。 - オンライン飲み会で「お酌」、乾杯も再現する「そそぎそそがせ」 阪大が開発
一緒に飲む相手がそこにいなくても大丈夫。 - 顔の表情をアバターに即時反映して表示する画面付きフルフェイスマスク 「デジタルカメン」誕生
装着している人の表情がディスプレイに反映される仕組みは世の中に受け入れれられるか。 - 「自分くすぐり」でストレス緩和? 他人にくすぐられている感覚得られる「くすぐってみ〜な」を奈良先端大が開発
VRとゴム手袋を応用して、自分でやってもくすぐったくなるそうだ。 - “内なる感情”をARで可視化する「Neo-Noumena」
相手の周りに感情を示す図形が浮かぶ。その助けによってコミュニケーションが改善されるとという。 - 動きで色が変わるナノフィルム “カメレオンの肌”も再現可能?
このフィルムを巻き付ければ、自在に色を変えられる。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.