「YouTubeストーリー」にAI採用でグリーンバック不要の背景合成機能

　米Google傘下のYouTubeは3月１日（現地時間）、一部のクリエイター向けに現在β提供している「YouTubeストーリー」に、AI採用の背景合成機能を追加したと発表した。

　YouTubeストーリーは、米SnapのSnapchatや米Facebook傘下のInstagramやWhatsAppにある「ストーリー」のように、複数の画像や短い動画をまとめたカード状のコンテンツを表示する機能。動画はモバイル端末でのみ撮影可能だ。日本では「ショートクリップ」という名称だったが、最近「YouTubeストーリー」に改称された。

　InstagramのARマスクのように、動画内の人物をリアルタイムで検知し、実際の背景を用意された背景画像と差し替える。

　米Appleの「iPhone X」のような高度な深度センサーなしでリアルタイムでこの機能を実現するために、Googleは「畳み込みニューラルネットワーク（Convolutional Neural Network、CNN）」という人工知能の技術を採用した。

　教師用のデータとして、数万件の背景付き人物画像をアノテーションし、それを使って画像セグメンテーションできるよう訓練した。アノテーションは、毛髪、眼鏡、首、肌、唇などの前景要素のピクセル精度の位置と、IoU（Intersection-Over-Union）98％の背景ラベルで構成される。

　テストでは、「iPhone 7」ではフレームレートが100以上、Googleの「Pixel 2」では40以上の動画で、IoU94.8％の精度で背景の差し替えができたという。技術的な説明は公式ブログを参照のこと。

　Googleは、このセグメンテーション技術をさらに改善し、同社の様々なAR（拡張現実）サービスに統合していくとしている。

この記事の著者

関連記事

• 

  GoogleまでSnapchatのような「ストーリー」開始　AMPで

• 

  YouTubeも「ストーリー」のような機能「Reels」を「コミュニティ」に追加

• 

  Facebook、AI画像認識技術「DeepMask」などをオープンソース化

• 

  「Google翻訳」アプリ、ディープラーニング採用で画像読み取りに20カ国語追加