WWDC 2018から読む2020年のApple（2/2 ページ）

[西田宗千佳，ITmedia]

ARKit2の「環境マッピング」に隠された秘密

　ARについて、Appleは順当に外堀を埋めている。ARKit2でできることは素晴らしいが、別にARKit2でなくてもできる。アプリベンダーが独自実装する例もあるし、そもそもHoloLensを含めたMicrosoft系ではすでに搭載されている機能だ。

　だが重要なのは、「iOSデベロッパーが市場にある多数のiOSデバイスをターゲットに、階段的にARアプリを学びながら開発していける」点にある。この先にはおそらく、「iOSでのさらなる進化」と「iOS向けアプリが使えるARデバイス」という、2つの階段があるのではないか。そう考えるとわかりやすい。

　機能としてもっとも重要なのは、World Mapの実装による空間のシェアなのだが、テクノロジー的な驚きでいえば「環境マッピングの搭載」が挙げられる。正確には、「環境マップのリアルタイム生成」が驚きだ。

　以下の画像は記事で何回か引用したので、見たことがある方もいるだろう。ARKit1では、机のテクスチャー感や、机の上に置かれた本物のバナナの色や像が器に写り込んでいないが、ARKit2ではそれが映り込んでいる。

• ARKit1での結果。CGの器が机の上に「乗っている」感じが強い。

不自然さが残るARKit1

• ARKit2での結果。環境マッピングによって、現実世界にさらに溶け込みやすく

なった。

現実世界に溶け込むARKit2の環境マッピング

　こうした環境マッピングを行うには、自分を中心に、周囲にどのような風景があるのかを記述した情報が必要になる。通常は「環境キューブマップ」と呼ばれる立方体の映像を作る。すべてのシーンがCGである場合、環境キューブマップは自動で生成できる。要は視点を反射する物体の中央として周囲全体をレンダリングした粗い画像があればいいからだ。だが現実世界の場合にはそうはいかない。だから実写合成をする場合には、環境マッピングが行われる物体から見た写真を多数使って環境キューブマップを生成するのが基本だ。

　ARKit2の環境マッピングのすごさは、「物体の周囲全体の映像をスキャンする必要がない」ことにある。環境マップが必要な物体の周囲をなめまわすように動けば、ARでもリアルタイムに環境キューブマップを作れる。だが考えてみて欲しい。そのためだけに「アプリを使い始める前には、周囲をくまなくスキャンしてください」と言えるだろうか？

　そこでアップルは、機械学習を使う。利用者から見た視点、という限られた情報から、環境キューブマップに必要な「周囲全体の映像」を作り出すのである。

　次の画像をご覧いただきたい。本来環境キューブマップは、中央の黒い立方体全体を埋め尽くす映像がいる。だが、カメラから得られているのは、キューブマップの中の「写真が貼られている部分」だけで、黒い部分の映像は得られていないのだ。しかし、機械学習を使って「得られていない部分はどのように補完するとそれっぽく見えるか」を判断して補っていくことで、まさに「それっぽい環境マッピング」を実現するのだ。

• ARKit2での環境キューブマップ生成。実は風景の一部しか取得できておらず、中央のキューブ内の黒い部分は情報がない。右の展開図を見るとよりわかりやすい。

Environment Texturing

　当然、補完された環境キューブマップはリアルなものではなく、画質が低い。テカテカの完全鏡面に貼ると、非常に強い違和感が出るだろう。だが、光沢のあるソファの皮や曇りのある銀食器、丸く反射するボトルなど、日常生活でよく見る多くの物体で「それっぽい環境マッピング」を実現するなら、これでも十分なのだ。だからAppleは、デモで「曇りのある銀食器」を使っている。

　ここからは予想、というか妄想に近い部分もあるが、これは「ARを備えたスマートグラス」を想定した機能だろう。シースルー型のスマートグラスでは、映像がどうしても完全な塗りつぶしにはならず、ちょっと透ける。だから、CGのレンダリングクオリティも完璧ではなくていい。しかし、完璧でなくても環境マッピングがあれば、色合いや物体の「なじみ」は劇的に上がる。むしろ、シースルーで完璧でない分、粗が目立たなくなり、見た目的なリアリティは上がるかもしれない。

　環境マッピング導入は、そういう部分まで考えて「質の向上に重要」と判断された結果ではないだろうか。

次世代ゲーム機は「ハード＋ストリーミング」になる？！

　最後に少し、E3で感じた「予想」を述べておきたい。

　ゲームがハードでなくソフトで語るものだ……というのは昔からそうなのだが、今年はそれを特に感じた。プラットフォーム同士の競争よりも、「その上でゲームを遊ぶ人々のコミュニティをどう構築するか」という点の方に注目が集まっていたように思うからだ。

　そこで思ったのだが、次のゲームハードの時代には、ハード＋「ストリーミング型」が基本になるのではないだろうか。ハードを買えば最高の体験ができるが、体験版的に楽しむ、年に1、2度決まったゲームをやる人には、ハードを買う必要がない、という世界になるような気がする。

　ストリーミング・ゲームには画質と遅延、そして通信費という問題がつきまとう。熱心なゲーマーには絶対に許せないものだが、そうでない人には「そこまで問題でもない」レベルになりつつある。特に5G以降はそうだ。

　料金モデルをうまく設定することで、ハードウェアをもたない人にもゲームを広げることができるし、「こんなに面白いものがもっと高品質に楽しめて、負けづらくなる」といった形でハードを押し出していくことも可能になる。高価なゲーミングPCはそうやって売れているが、それがゲーム機＋ストリーミングでさらにカジュアルになる、という構図だ。ゲームプラットフォーマーの収益源が「サービス」軸になるとすれば、ハードウエアそのものにこだわる必然性は減る。

　その昔、久夛良木健氏は「ゲームはネットに溶ける」と言った。PS3はそれを目指したものだった。おそらくその姿は、PS5の世代で「一部」実現し、その先であたりまえになっていく。スマートフォンという媒体があることが、その基盤になるのだ。

　だから、次世代機のプラットフォームは「ハード＋クラウド」が基本になる……と筆者は予想しておく。答え合わせは1年くらい先になるが、Appleのスマートグラス戦略と合わせ、頭の片隅にでも置いておいてほしい。