「YouTubeストーリー」にAI採用でグリーンバック不要の背景合成機能

YouTubeストーリー(旧「ショートクリップ」)で、グリーンバックを用意しなくても動画の背景を抜いて別の画像に差し替えられる新機能が使えるようになった。Googleはこの技術を他のARサービスにも統合していく計画だ。

» 2018年03月04日 07時46分 公開
[佐藤由紀子ITmedia]

 米Google傘下のYouTubeは3月1日(現地時間)、一部のクリエイター向けに現在β提供している「YouTubeストーリー」に、AI採用の背景合成機能を追加したと発表した。

 back 1

 YouTubeストーリーは、米SnapのSnapchatや米Facebook傘下のInstagramやWhatsAppにある「ストーリー」のように、複数の画像や短い動画をまとめたカード状のコンテンツを表示する機能。動画はモバイル端末でのみ撮影可能だ。日本では「ショートクリップ」という名称だったが、最近「YouTubeストーリー」に改称された。

 InstagramのARマスクのように、動画内の人物をリアルタイムで検知し、実際の背景を用意された背景画像と差し替える。

 米Appleの「iPhone X」のような高度な深度センサーなしでリアルタイムでこの機能を実現するために、Googleは「畳み込みニューラルネットワーク(Convolutional Neural Network、CNN)」という人工知能の技術を採用した。

 教師用のデータとして、数万件の背景付き人物画像をアノテーションし、それを使って画像セグメンテーションできるよう訓練した。アノテーションは、毛髪、眼鏡、首、肌、唇などの前景要素のピクセル精度の位置と、IoU(Intersection-Over-Union)98%の背景ラベルで構成される。

 back 2 9レベルにアノテーションしたデータの例

 テストでは、「iPhone 7」ではフレームレートが100以上、Googleの「Pixel 2」では40以上の動画で、IoU94.8%の精度で背景の差し替えができたという。技術的な説明は公式ブログを参照のこと。


 Googleは、このセグメンテーション技術をさらに改善し、同社の様々なAR(拡張現実)サービスに統合していくとしている。

Copyright © ITmedia, Inc. All Rights Reserved.

注目のテーマ