理想的なARグラスはまだない？　3Dスキャンアプリを無料で提供する理由は？　米Niantic技術トップに聞く（2/3 ページ）

「位置」と「周囲」を認識する技術の今は？

――では現状、屋外に向けた技術はどうなっていますか？　特に、位置認識技術は重要です

マクレドン：私たちは、カメラの画像から正確に位置を把握する「Visual Positioning System（VPS）」にフォーカスしてきました。屋外の地図を作成し、カメラの画像から位置を正確に把握できるのですが、同様に屋内での位置把握もうまくいっています。

　この技術を使った共有AR機能は、弊社のフレームワークであるLightshipのSDKに追加されました。

　セマンティクス（意味把握）については2つの方向性があります。空間での位置を把握するセマンティクスと、リアルタイムセマンティクスの2つです。

　特にリアルタイムセマンティクスでは、15ミリ秒で200種類の物体を見分けられます。

　「Peridot」というゲームでその例を見ることができますが、クリーチャーは周囲の環境を認識し、それに反応します。これはリアルタイム・セマンティクスの力ですが、私たちは同時に、VPSも使って地図を作っています。

　その副次的な効果として、この場所のシーンにある「すべての種類のオブジェクト」のセマンティック・メッシュがあります。

　要は私たちは、世界のセマンティックなマップ（そこに置かれたものが何かという情報を把握した地図）を構築しているのです。

――そこで生成AIとの関係を伺います。マルチモーダルな生成AIを使うとセグメンテーションもセマンティックもできる。それらと現在のアプリケーションの関係を教えてください

マクレドン：それは非常にいい質問です。セグメンテーションを生成AIで行うのは、非常にコストが高い。あなたが写真を撮ってクラウドにアップロードし、セグメンテーションを計算するために多くのクラウドコストを使い、それを携帯電話に戻す。これにはコストもかかるし時間もかかります。

　弊社が方法は、15ミリ秒でリアルタイムのセマンティクスを提供し、そのセマンティクス情報をテキストにして生成AIにアップロードし、そこから見たことの説明を得るというものです。

　このように、私たちのセマンティック技術と生成AIは、組み合わせる形で成り立つのです。第一、その方がずっと安上がりですからね。

ARと広告、WebXRの関係とは

――現在のARは広告に依存しています。ナイアンティックのビジネスとしても、8th Wallを使ったマーケティングキャンペーン向けのものが多い。こうした使い方の将来をどう見ていますか？

マクレドン：確かにその通りです。最近は「ポケモンGO」の中に8th Wallを使った広告を組み込みました。これはARになっていて、現実世界の中に3Dオブジェクトを組み合わせて体験できます

――ポケモンGOはUnityで作られたアプリケーションです。その中に、Web技術をベースとしている8th WallのARを組み込んだわけですね？

マクレドン：はい。ポケモンGOの中の広告をクリックすると、Webインタフェースのエクスペリエンスに切り替わり、ARで表示されます。1つの広告キャンペーンで何千万回ものインプレッションを獲得しました。大手ブランドがポケモンを活用するキャンペーンを構築するために契約しています。

――Web技術との融合について伺います。8th WallはWebからXRを使うオープンな「WebXR」をベースに作られています。こうした技術はより広がっていくのでしょうか

マクレドン：一般論として、アプリケーションを作るコストは、App StoreやGoogle Playではかなり高いです。

　しかしWeb技術ならそれが軽減できる。近い将来、もっと簡単になるでしょう。ARや単なる3Dゲームでの経験を作成するためのハードルも同様です。

――ということは、大規模なゲームなどを作るための技術もローカルアプリからウェブベース、特にWebXRに移行していくとお考えですか？

マクレドン：それが私たちの目標です。より複雑なアプリケーションを構築するためのいくつかの道筋が見えてきており、6月に開催されるAWE（アメリカ・ロングビーチで開催されるXR関連イベント）では、その一端をお見せできると思います。

　Unityは、大規模なゲーム開発を中心に多くの強みがあり、多くの大作ゲームがUnityを使っています。われわれのポケモンGOやMonster Hunter Nowもそうです。

　しかし、大規模なゲームをXRで開発するチャンスもあると思います。私たちが構築しているツールは、他の人にとっても非常に役に立つと信じています。

この記事の著者

関連記事

• 

  もうすぐ8周年の「ポケモンGO」で大型アプデ　「これまでにないビジュアル」に

• 

  「iPhoneで空間スキャン」に本命あらわる　無料アプリ「Scaniverse」が3D Gaussian Splattingに対応

• 

  生成AIはキャラに命を吹き込む──米NianticのARゲーム「ペリドット」進化　Meta「Llama 2」活用

• 

  Niantic、230人のリストラ　Pokemon GoやARに集中

• 

  「Apple Vision Pro」レビュー　渡米してまで買う価値はあったのか