君には見えるか？ “錯視画像”を作り出す生成AI 「遠近で変わる絵」「白黒と色付きで変わる絵」など：Innovative Tech（AI+）（3/3 ページ）

[山下裕毅，ITmedia]

　さらに、モーションブラーをかけることを念頭に置いた分解によって、静止画としては異なる画像に見えるが、動かすと別の画像に知覚されるような「モーションハイブリッド画像」も実現されている。

ブレの有り無しで異なる内容に見える画像　（左）遺跡、（右）パンダ

（左）山の景色、（右）人の横顔

（左）都会、（右）クルマ

（左）遺跡、（右）熊の人形

　提案手法では、各成分に対して異なるプロンプトの下で複数回ノイズ推定を行う。その後、推定したノイズを成分ごとに再構成することで目的の画像を得ている。

　これはあたかも各成分を独立に異なるプロンプトで生成し、後から統合したかのような結果をもたらす。こうした仕組みにより、事前学習済みの拡散モデルをファインチューニングすることなく、ゼロショットで多様な錯視画像の生成を実現している点が、この手法の大きな利点である。

　加えて、実画像のある成分（例えば低周波成分）を固定しつつ、残りの成分をテキストプロンプトから生成することで、実画像を加工したハイブリッド画像の作成も可能である。これは拡散モデルを事前分布とみなした逆問題の解法とも解釈でき、応用の幅が広い。

（左）額に入った絵、（右）アルベルト・アインシュタイン　遠くから見ると人物に見える

（左）電球、（右）トーマス・エジソン

Source and Image Credits: Geng, Daniel, Inbum Park, and Andrew Owens. “Factorized Diffusion: Perceptual Illusions by Noise Decomposition.” arXiv preprint arXiv:2404.11615（2024）.