Innovative Tech
動画から手の動きを3Dデータ化、ハンドジェスチャーも認識 英ICLなどが開発
Innovative Tech：
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
英インペリアル・カレッジ・ロンドン（ICL）、スイス・ルガーノ大学、英Ariel AI、米Twitterによる研究チームが開発した「Weakly-Supervised Mesh-Convolutional Hand Reconstruction in the Wild」は、動画から人の手の3次元モデルを予測する、深層学習を用いた手法だ。1台の単眼カメラで撮影したRGB映像から、手の動的3次元メッシュを生成する。
（左）YouTubeからの入力動画（右）本手法を用いて推定した手の3次元メッシュ出力結果
自然環境での動作を想定しており、主にYouTubeの動画から収集した手の動きの大規模データセットを用いて学習を行う。さらに収集した動画から自動的にデータを生成するシステムを構築し、訓練とテスト用のデータセットを作成している。
画像座標系でメッシュを直接再構築する「エンコーダ・デコーダ」モデルを採用。OpenPoseにより手のキーポイントを検出し、変形可能なモデルを反復的に合致させることで3次元形状を生成する。
本手法のパイプライン
学習したモデルを異なるデータセットで評価した結果、非常にシンプルなモデルながら、ポーズ推定とメッシュ再構築で、従来の類似モデルを大きく上回る性能を示したという。
入力画像と本手法の出力結果
スマートフォンを使用してリアルタイムで手のトラッキングを行うデモにも成功しており、ARアプリケーションのハンドジェスチャー入力などを実証している。
リアルタイムで手の動きを3次元メッシュ化した出力結果
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
こんなメディアも見られています
ITmedia NEWSに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
本日の新着記事
アクセスランキング
-
1
メルカリ、梨の転売疑惑に「盗品の出品は確認されず」 誹謗中傷には利用制限も
-
2
「Xが情報収集に役立たない……」熊本地震で不満の声続出 「Twitterを返して」
-
3
「こんなのに追われたら……」急斜面もやすやす爆走、中国製の車輪付き四足ロボのデモ動画が話題 最高時速20km超
-
4
検索結果に「詐欺ではありません」と表示させる詐欺手口、警視庁が注意喚起 AI要約も餌食に
-
5
Z世代に聞く次の流行、「AIイラスト」が1位に 「Claude Code」も上位
-
6
東野圭吾さん死去、Xなどで追悼相次ぐ 「ガリレオ」など数々の人気作、エンジニアから転身
-
7
はてな、11億円流出の調査報告書を公開 偽警察、口外禁止、残業・休出200時間超、孤立……ほころびが連鎖
-
8
NVIDIAやMicrosoftなど30社超、オープンAIの防御ツール共同開発の「Open Secure AI Alliance」設立
-
9
「あ、その情報メモしたい！」を叶えるワイヤレスイヤフォン、Nothing「Ear (3a)」
-
10
農水省の“クソダサ”ポスター話題 「AIよりよっぽど良い」の声も 担当者に狙いを聞いた
ITmedia NEWS SNS
@itmedia_newsをフォロー
インフォメーション
注目情報をチェック
ITmediaNEWSをフォロー
あなたにおすすめの記事PR