使徒がそこにいるような、空と調和した巨大ARオブジェが出現 スマートフォンアプリ「Fakeye」、ベトナム研究チームが開発:Innovative Tech
エヴァンゲリオンの「使徒」が本当に出現したようなAR映像。
Innovative Tech:
このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。
ベトナム国家大学ホーチミン市校が開発した「Fakeye」は、空にARオブジェクトを表示する機械学習ベースのモバイルアプリだ。 実際の空の風景と調和したARオブジェクトを表示する。
空と調和したAR表現を実現するには、手前にある物体が背後にあるARオブジェクトを隠して見えないようにするオクルージョン(隠蔽)を正確に行う必要がある。今回の手法では、機械学習のロジスティック回帰モデルを用いて、空のセグメンテーションを計算している。
また、空を完全に置き換えるのではなく、リアルとバーチャルのシーンを混合したテクスチャブレンディングを行い、空の質感を維持した表現にしている。例えば、雲の後ろにARオブジェクトを配置する場合、完全に見えなくするのではなく、部分によっては適切な透明度を設定することで物体が雲から薄く透けて見える表現になっている。
さらに、オクルージョンやテクスチャブレンディングとは別に、ARオブジェクトが遠くにあるように見せるために、カメラを動かしても遠くで静止しているような錯覚を起こさせている。スマートフォンに内蔵されているジャイロスコープから回転運動を検出し、物理カメラとバーチャルカメラの空間知覚を対応させ、バーチャルカメラの視野角も物理カメラと同じにすることで実現している。
これらの結果、あたかも巨大オブジェクトが遠くの空に鎮座しているような表現を作り出す。リアルタイムに更新されるため、閲覧しているユーザーが動いても、世界観を壊さずに表示し続けることが可能だ。
関連記事
- 「レイトレ」応用、動く物体にぴったり貼り付くプロジェクションマッピング 東工大開発
レイトレーシングの一種であるパストレーシングをリアルタイムで処理し、投影するシステムだ。 - 「画像の中を歩いた少し先」を予測する技術 Facebookなど「SynSin」開発
「絵の中に入り込むことができたら」を実現する技術。 - 手描きキャラクターに深層学習で影 カラーでも
カラー画像も背景のある画像にも影を付けられる。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.