Instagram写真で使われたフィルターを推定、別の画像に適用する技術 Samsungが開発：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　韓国Samsung Electronicsの研究チームが開発した「Filter Style Transfer between Photos」は、フィルター処理された画像がどんなカスタムフィルターをかけているかを推定し、そのフィルターを別の画像に適用する技術だ。

（a）7種類のカスタムフィルターがかかった参照画像（b）本物のフィルターを適用した結果（c、d）既存研究のスタイル画像転送の出力結果（e）本手法の出力結果

　従来の手法は、画像間で色や質感を転送することには成功していたが、Instagramのようなサービスプラットフォームでユーザーが使っているカスタムフィルター効果を予測し、有効に機能させることはできなかった。

　今回の手法では、1枚の画像からカスタムフィルター効果を抽出し、そのフィルターを別の新しい画像に適用可能なシステムを提案する。

　最初に、フィルタリングされた参照画像から深層学習ネットワークを用い、カスタムフィルターを使う前の元画像を復元。次に、復元した元画像と参照画像からフィルターパラメーターを求め、新しい画像に適用する。

システムの概要図

　出力結果の精度を評価するため、既存のスタイル画像転送技術と比較した。従来のスタイル画像転送技術が色分布を反映させるの対して、本手法はカスタムフィルターのみを反映させるため、モバイルデバイス上でリアルタイム（2ms以内）処理ができるという。

　また、参照画像で無彩色部分が多いと、従来の手法では不安定な結果しか得られなかったが、本手法では良好な結果だったという。

（左）入力画像（中央）この参照画像のフィルターを抽出し入力画像に転送（右）出力結果