Innovative Tech
動画からその物体だけを消し去る技術 Microsoftなどが開発
Innovative Tech：
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
中国・中山大学とMicrosoft Research Asiaの研究チームが開発した「Learning Joint Spatial-Temporal Transformations for Video Inpainting」は、動画内の特定の物体だけを除去する深層学習ベースのフレームワークだ。
（上段）入力映像に除去したい人物にマスクしている状態（下段）本手法で物体を除去した状態
（左）入力画像（右）本手法の出力結果
画像から特定の物体を除去する手法は、消した欠落領域を埋めるように修復するインペイント方式が効果的で、これまでも多くの研究で採用されてきた。しかし、映像でのインペイント方式となると、動く物体を連続的に除去する必要があるため、空間／時間的制約を受け、修復した領域がぼやけたり、一時的に不自然な部分が発生したりする。
この課題に挑戦するため、高精度に映像内の物体除去を行えるビデオインペイント・ネットワーク「Spatial-Temporal Transformer Network」（STTN）を提案する。具体的には、隣接フレームと遠いフレームの両方を入力し、全ての入力フレームの欠落領域を同時に埋めるよう学習する。最後に、敵対的に学習し最適化を行う。
STTNネットワークの概要図
このように学習したモデルの優位性を示すため、静止マスクと移動マスクを使用し、定量的・定性的評価を行った。実験の結果、人が大勢いる複雑な背景で、前景でダンスのように激しく変化する動きがあった場合でも視覚的に良好な修復ができたという。
（左列）入力画像とマスク（中央列）既存手法による出力結果（右列）本手法の出力結果
また、PSNR（ピーク信号対雑音比）とVFID（入力／生成画像の分布がどれだけ似ているかを測定する指標）の相対的な改善率はそれぞれ2.4％と19.7％で、既存モデルを大きく上回ったとしている。
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
こんなメディアも見られています
ITmedia NEWSに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
本日の新着記事
アクセスランキング
-
1
日本人の大腸がん、約半数に“腸内細菌の毒素”が関与 40歳以下の発症は7割 東大・阪大が200人を全ゲノム解析
-
2
「コミューン」不正アクセスでLINEヤフー、Sansan、パナソニックでも会員情報漏えいの可能性
-
3
「お前たちのクラウドはわれわれのもの」 IDCFクラウドの管理画面に出た攻撃者のメッセージ 内容に運営元は
-
4
履歴書100通に1通「AIだけが読める文字」 20万件調査でわかった“就活ハック”の手口 米研究
-
5
農水省の“クソダサ”ポスター話題 「AIよりよっぽど良い」の声も 担当者に狙いを聞いた
-
6
山中で遭難の16歳少年、登山計画に生成AI「Claude」利用 救助隊は「ルートの妄信」警鐘
-
7
JR東日本、「えきねっと」「ビューカード」などで漏えいか メルアドなど最大609万件 IDCFへの不正アクセスで【追記あり】
-
8
SBI証券、Google・Appleパスキー乗っ取り被害「確認されていない」 注意喚起は他社事案
-
9
OpenAI、安全性研究者3人を解雇 本人らは「安全性を優先したため」と主張、同社は「機密情報の扱いに関する規定違反」と説明
-
10
ChatGPT、無料版を含む全ユーザーに「GPT-6」 回答内に“操作できる画面”を生成する「Intelligent UI」搭載
ITmedia NEWS SNS
@itmedia_newsをフォロー
インフォメーション
注目情報をチェック
ITmediaNEWSをフォロー
あなたにおすすめの記事PR