Innovative Tech

使徒がそこにいるような、空と調和した巨大ARオブジェが出現　スマートフォンアプリ「Fakeye」、ベトナム研究チームが開発

公開 2020年10月27日 12時35分

著者

山下裕毅

[ITmedia]

印刷する

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　ベトナム国家大学ホーチミン市校が開発した「Fakeye」は、空にARオブジェクトを表示する機械学習ベースのモバイルアプリだ。実際の空の風景と調和したARオブジェクトを表示する。

Fakeyeの表示結果。まるでエヴァンゲリオンの使徒のような、キューブ状の巨大オブジェが空と調和して見える

　空と調和したAR表現を実現するには、手前にある物体が背後にあるARオブジェクトを隠して見えないようにするオクルージョン（隠蔽）を正確に行う必要がある。今回の手法では、機械学習のロジスティック回帰モデルを用いて、空のセグメンテーションを計算している。

　また、空を完全に置き換えるのではなく、リアルとバーチャルのシーンを混合したテクスチャブレンディングを行い、空の質感を維持した表現にしている。例えば、雲の後ろにARオブジェクトを配置する場合、完全に見えなくするのではなく、部分によっては適切な透明度を設定することで物体が雲から薄く透けて見える表現になっている。

Fakeyeの出力結果

　さらに、オクルージョンやテクスチャブレンディングとは別に、ARオブジェクトが遠くにあるように見せるために、カメラを動かしても遠くで静止しているような錯覚を起こさせている。スマートフォンに内蔵されているジャイロスコープから回転運動を検出し、物理カメラとバーチャルカメラの空間知覚を対応させ、バーチャルカメラの視野角も物理カメラと同じにすることで実現している。