「YouTubeストーリー」にAI採用でグリーンバック不要の背景合成機能
YouTubeストーリー(旧「ショートクリップ」)で、グリーンバックを用意しなくても動画の背景を抜いて別の画像に差し替えられる新機能が使えるようになった。Googleはこの技術を他のARサービスにも統合していく計画だ。
米Google傘下のYouTubeは3月1日(現地時間)、一部のクリエイター向けに現在β提供している「YouTubeストーリー」に、AI採用の背景合成機能を追加したと発表した。
YouTubeストーリーは、米SnapのSnapchatや米Facebook傘下のInstagramやWhatsAppにある「ストーリー」のように、複数の画像や短い動画をまとめたカード状のコンテンツを表示する機能。動画はモバイル端末でのみ撮影可能だ。日本では「ショートクリップ」という名称だったが、最近「YouTubeストーリー」に改称された。
InstagramのARマスクのように、動画内の人物をリアルタイムで検知し、実際の背景を用意された背景画像と差し替える。
米Appleの「iPhone X」のような高度な深度センサーなしでリアルタイムでこの機能を実現するために、Googleは「畳み込みニューラルネットワーク(Convolutional Neural Network、CNN)」という人工知能の技術を採用した。
教師用のデータとして、数万件の背景付き人物画像をアノテーションし、それを使って画像セグメンテーションできるよう訓練した。アノテーションは、毛髪、眼鏡、首、肌、唇などの前景要素のピクセル精度の位置と、IoU(Intersection-Over-Union)98%の背景ラベルで構成される。
テストでは、「iPhone 7」ではフレームレートが100以上、Googleの「Pixel 2」では40以上の動画で、IoU94.8%の精度で背景の差し替えができたという。技術的な説明は公式ブログを参照のこと。
*** 一部省略されたコンテンツがあります。PC版でご覧ください。 ***
Googleは、このセグメンテーション技術をさらに改善し、同社の様々なAR(拡張現実)サービスに統合していくとしている。
関連記事
- GoogleまでSnapchatのような「ストーリー」開始 AMPで
Googleが、「Accelerated Mobile Pages(AMP)」の新コンテンツサービス「AMP Stories」を発表した。SnapchatやInstagramの「ストーリー」のように、カード状にまとめられた画像・動画集で、検索結果に表示されるようになる。 - YouTubeも「ストーリー」のような機能「Reels」を「コミュニティ」に追加
YouTubeがSnapchatやInstagramの人気機能「ストーリー」に似た機能「Reels」を、人気チャンネルにのみある「コミュニティ」タブの1機能として追加した。他のストーリーと異なり、自動的には消えない。 - Facebook、AI画像認識技術「DeepMask」などをオープンソース化
Facebookが、写真に写っている物体を抽出してそれぞれの物体が何かを認知するコンピュータビジョン技術のコードをGitHubで公開した。 - 「Google翻訳」アプリ、ディープラーニング採用で画像読み取りに20カ国語追加
Google翻訳のモバイルアプリの、端末のカメラで映した映像内のテキストをリアルタイムで翻訳する機能が新たに20カ国語に対応した(日本語はまだ)。Googleはこの機能で採用したディープニューラルネットワーク技術について説明している。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.