Innovative Tech:
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
米ミシガン大学の研究チームが開発した「Full-Body Awareness from Partial Observations」は、インターネット上で一般公開されている動画から、映像に映っている人物の3次元データを生成できる機械学習フレームワークだ。
映像内の人物を3次元メッシュとして再現する手法はこれまでもあったが、インターネット上に公開されているような、物体などに体が隠れて見えない部分が多い動画には対応できなかった。
今回の手法では、人物の3次元メッシュを復元する機械学習モデル「HMR」と「CMR」を用い、キーポイント(関節)数が少ない身体でも再構築できるように訓練する。
VLOG、Instruction、YouCookII、Cross-Taskという4つの機械学習用コンシューマービデオデータセットにアノーテーションを付けて評価したところ、VLOG上で学習した後のYouCookIIでは、HMRと比較して20.7%(画像外キーポイントで36.4%)、HMRと比較して10.9%(画像外キーポイントで19.1%)の改善が見られたという。
関連記事
- 表と裏を独立検知できる布地タッチセンサー Google、「ZebraSense」開発
表裏のセンサーを交互に組み込むことで、表からも裏からも操作可能。 - 協調して動く球体ロボット群「FreeBOT」 くっついたり離れたり、転がったり壁を登ったり
自律システムの構築も目指す。 - レトロゲーム機でレトロゲームを自作 Microsoftが「TileCode」開発
「ツクール」など同種のものはあるが、今回はMSが構築した。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.