煙、水、炎の静止画からアニメーションを自動生成 Facebookなどが開発：Innovative Tech

[山下裕毅，ITmedia]

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　ワシントン大学とFacebookによる米研究チームが開発した「Animating Pictures with Eulerian Motion Fields」は、煙、水、雲、炎などの流体を撮影した写真をアニメーションビデオに変換するシステムだ。水は流れ、煙は立ちのぼり、炎が燃えるといった連続的な流体運動のループ映像を自動生成する。

1枚の流体が写る静止画像（a）を入力に、推定した流体の動き（b）から、適切なループ映像（c）を生成する

煙、炎、雲、水といった流体の動きを再現する

　システムは、1枚の流体画像を入力すると、画像から画像へスタイル変換するI2I変換（image-to-image translation）ネットワークで流体の動きを推定。その情報を基に適切なテクスチャを合成してフレームを埋めていく。最後に、シームレスなループ映像を生成するため、動画が常に同じフレームで始まり、同じフレームで終わる技術を導入し不自然さを軽減した映像に仕上げる。

システムのアーキテクチャ

　これまでの手法とは違い、あるフレームから次のフレームへの粒子の動きをオイラー積分を介してシミュレーションしている。深層学習ネットワークは、オンライン上の流体動画データセットから抽出した画像とその動きのペアで訓練している。

　システムの精度を確かめるデモでは、水が流れる滝、煙が立ちのぼる汽車、湖の波紋、燃える炎、山火事の煙などの、違和感が少ない自然なループ映像を示した。その様子は動画で確認できる。