Facebook、ライブ動画をリアルタイムで加工できる「Caffe2Go」発表

[佐藤由紀子，ITmedia]

　米Facebookは11月8日（現地時間）、「ライブ動画」でも使える独自の「スタイルトランスファー」を“間もなく”モバイルアプリに追加すると発表した。

　スタイルトランスファーとは、画像や動画を加工して、例えばゴッホやレンブラントなどのような著名画家のタッチに変えるツールのことだ。米SnapchatやロシアPrismaのフィルターで知られるようになった。下の画像は、Facebookが紹介したスタイルトランスファーのサンプルだ。

スタイルトランスファーの例（上段が適用前の画像、中段が適用する絵画作品、下段が適用結果）

　Facebookのスタイルトランスファーは、ライブ動画にも適用できるのが特徴だ。

Facebook Engineeringさんの投稿 2016年11月7日

　スタイルトランスファーは「ディープラーニング」技術によるもので、一般には適用対象のコンテンツを解析するためにクラウドにアップロードする必要がある。これを、モバイル端末側だけで処理できるようにしたことで、ライブ動画への適用を可能にしたとしている。

　Facebookはこの新しいスタイルトランスファーのために構築したディープラーニングプラットフォームを「Caffe2Go」と名付け、そのフレームワークをモバイルアプリに統合したという。

　Caffe2Goは、画像や動画の解析に使うAIモデルのサイズを100分の1に凝縮することで、iOSおよびAndroid上でのディープニューラルネットワークの稼働を可能にするという。モバイル端末上で、毎秒20フレームを加工できるとしている。

Facebook Engineeringさんの投稿 2016年11月8日

　同社はCaffe2Goを向こう数カ月中にオープンソースで公開する計画だ。

　Facebookは、Caffe2Goはスタイルトランスファーだけでなく、アクセシビリティや教育などの分野でも応用できる技術であり、今後この技術を採用するモバイルでの素晴らしいAIおよびAR（拡張現実）体験を提供していくとしている。