Innovative Tech
身体の一部しか見えていなくても、全身を3Dモデル化 機械学習で
Innovative Tech：
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
米ミシガン大学の研究チームが開発した「Full-Body Awareness from Partial Observations」は、インターネット上で一般公開されている動画から、映像に映っている人物の3次元データを生成できる機械学習フレームワークだ。
身体が一部しか見えてなくても全身の3次元メッシュを再構築できる
映像内の人物を3次元メッシュとして再現する手法はこれまでもあったが、インターネット上に公開されているような、物体などに体が隠れて見えない部分が多い動画には対応できなかった。
（左の青い四角）全身が見えるポーズデータセット。（右の緑の四角）一般的な動画は、身体の一部しか映っていないシーンが大多数だ
今回の手法では、人物の3次元メッシュを復元する機械学習モデル「HMR」と「CMR」を用い、キーポイント（関節）数が少ない身体でも再構築できるように訓練する。
モデルのアーキテクチャ
VLOG、Instruction、YouCookII、Cross-Taskという4つの機械学習用コンシューマービデオデータセットにアノーテーションを付けて評価したところ、VLOG上で学習した後のYouCookIIでは、HMRと比較して20.7%（画像外キーポイントで36.4%）、HMRと比較して10.9%（画像外キーポイントで19.1%）の改善が見られたという。
YoucookIIを用いた出力結果
Cross-Taskを用いた出力結果その他の出力結果
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
こんなメディアも見られています
ITmedia NEWSに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
本日の新着記事
アクセスランキング
-
1
「ペンギンを返して」 Suica新キャラ候補3案公開でSNSに戸惑いの声 一般投票は8日から
-
2
大雨で「首都圏外郭放水路」稼働 濁流が“地下神殿”を満たすまでの動画公開 国交省
-
3
幻の「ちいかわ」コラボ第3弾皿、捨てちゃうの？ くら寿司に聞いてみた
-
4
Duolingoの新アイコンが「気持ち悪い」 世界のユーザーから「元に戻して」の声
-
5
名古屋豪雨、冠水した道は今通れる？ トヨタ「通れた道マップ」で確認を
-
6
メルカリ、くら寿司ちいかわ騒動巡りコメント 出品削除・禁止の有無は
-
7
くら寿司、「ちいかわ」グッズ不正で「警察と相談、厳正に対処」 メルカリと連携も
-
8
OpenAI、ミレニアム懸賞問題「ナビエ・ストークス方程式」をAIが解決したと発表 数学者は経緯に反発
-
9
“地下神殿”への濁流動画をダウンロード公開 Xでの反響受け……「首都圏外郭放水路」に称賛
-
10
Anthropicの研究者が退社し超知能の開発競争を猛批判──「来年末には制御不能になる可能性」
ITmedia NEWS SNS
@itmedia_newsをフォロー
インフォメーション
注目情報をチェック
ITmediaNEWSをフォロー
あなたにおすすめの記事PR