Innovative Tech
人の動画を別人の動きに 深層学習でリアルに操作
Innovative Tech：
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
独Max Planck Institute for Informatics、香港大学、スタンフォード大学による研究チームが2020年1月に発表した「Neural Human Video Rendering」は、 Convolutional Neural Network（CNN）を用い、動画内の衣服を着た人物の全身運動を制御する合成技術だ。
Neural Human Video Rendering用いた動画間転送の様子。上段がターゲット動画（操られる側）、左がドライバー動画（操る側）、右が出力結果
研究チームは3種類のユースケースを紹介している。
Neural Human Video Renderingを用いたユースケース
- （a） ドライバー動画（操る側）の動きをターゲット動画（操られる側）へ転送するアプローチ。ターゲット動画内の人物を、外見を保持しながらドライバー動画内の人物の動きと同じように動かせる。
- （b） 人型スケルトンを動かし制御するアプローチ。モデルをインタラクティブに動かし、ターゲット動画内の人物を同じように動かせる。
- （c）単一カメラの固定ビューからBullet-time効果を生成するアプローチ。さまざまな角度から見た特定のポーズを生成できる。
本技術は、1台の単眼カメラで撮影した動画から学習して、スケルトンを入力とした人物のリアルな映像を生成するデータ駆動型のアプローチだ。
事前トレーニングでは、静的な人型3Dモデルとテクスチャ、動画から人物の動きを訓練する。出力はモーションデータとフレーム毎の部分的な動的テクスチャ。合成ステップでは、テクスチャマップを計算するためのネットワーク（TexNet）と、前景と背景を自然にブレンドし、シルエットで見られるトラッキング／スキニングエラーを修正した最終出力を生成するネットワーク（RefNet）の2段階で構成される。
Neural Human Video Renderingのパイプライン
このような合成技術では、転送後の動画で体の一部や衣服のシワが欠落するといった課題があった。本技術はこの課題を軽減している。
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
こんなメディアも見られています
ITmedia NEWSに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
本日の新着記事
アクセスランキング
-
1
メルカリ、梨の転売疑惑に「盗品の出品は確認されず」 誹謗中傷には利用制限も
-
2
Anthropic、「Claude Opus 5」公開 Fable 5に迫る性能を半額で――サイバー安全策は緩和、拒否時は自動フォールバックも
-
3
「iPhone高騰」はこれからも続く？ 中国CXMTに近づくApple、メモリ競合へのけん制が不発に終わりそうなワケ【後編】
-
4
「ニューロマンサー」実写ドラマ、Apple TV+で2027年1月配信開始へ
-
5
「こんなのに追われたら……」急斜面もやすやす爆走、中国製の車輪付き四足ロボのデモ動画が話題 最高時速20km超
-
6
検索結果に「詐欺ではありません」と表示させる詐欺手口、警視庁が注意喚起 AI要約も餌食に
-
7
海外の新作バカゲー「電車アタック」にマンガ家が感心した理由 ブッ飛んだ内容と完成度の高さ、そして“日本”
-
8
「めっちゃカメレオン」公式Discord乗っ取り 担当者PCがマルウェア感染、管理者が全員BANに 現在は復旧
-
9
暑さ対策が熱い！ 「猛暑対策展」で感じた、転んでもただでは起き上がらない日本人のエネルギー
-
10
スーパーに並んだ「ごちゃごちゃ生成AIポップ」が物議 “看板王”こと、きぬた歯科院長「これはアリ」
ITmedia NEWS SNS
@itmedia_newsをフォロー
インフォメーション
注目情報をチェック
ITmediaNEWSをフォロー
あなたにおすすめの記事PR