流行の3Dカメラ技術とプロセッサパワーの相関関係とは：Uplinq 2014

[鈴木淳也（Junya Suzuki），ITmedia]

　スマートフォンの本格的な普及が始まって5〜6年が経過し、Webブラウジングから動画再生、ゲームまで、快適なレスポンスと操作性で、多くのユーザーがストレスなくモバイル体験を楽しめるまでに製品や技術は進化してきた。「スマートフォンは十分に高速になった。もうこれ以上のパフォーマンスはいらない」と感じる人も増えてきたことだろう。だがPCがそうであったように、プロセッサが今後も高速化を続けることで、それを通じて体験できる世界がさらに広がる側面もある。今回は、その事例の1つを紹介する。

ひそかなブームとなりつつある3Dカメラ

　前回のUplinqのリポートでも紹介したが、このQualcommのジェネラルセッションでは、Pelican Imagingという米カリフォルニア州サンフランシスコを拠点とするベンチャー企業の3Dカメラ技術が紹介された。

　通常、デジタルカメラはイメージセンサーが受け取った情報を処理して2Dの平面的な画像を取得する。3Dカメラでは、これに対してさらに「奥行き」情報の取得も可能としている。以前まで、3Dカメラといえば「カメラを左右に2つ配置して人間が立体視可能な映像を取得する」ことを目的としていた。だが、いまブームになりつつあるのは、3D表示用のデータ取得だけではなく、画像の奥行きを読み取ることで「映った物体の構造そのものを読み取る」ことだ。

　また、構造を読み取ることで「動く物体のモーションを把握」したり、質感や動きの把握から「人物の表情を読み取る」ことが可能であったり、あるいはカメラ（または物体自体）が移動することで「物体そのものの全体像を立体的に把握する」こともできる。

　この、いわゆる最新世代の3Dカメラブームの最初の火付け役はMicrosoftの「Kinect for Xbox 360」だ。通常の2Dカメラに加え、このデバイスは「深度センサー」と呼ばれる、映った画像の奥行きを把握する専用センサーを搭載している。これにより、Kinectの前にある人物のモーションを読み取り、ゲームの操作に応用している。この技術を開発したイスラエルのPrimeSenseは現在Appleに買収されており、Microsoftでは別の独自技術を現行版Kinectに利用しているが、3Dカメラまわりでは多くのベンチャー企業が技術開発に従事しており、大手ITベンダーらがこれらベンチャーに出資する形で、急ピッチで技術革新が進んでいる。

　Uplinq壇上でも紹介されたPelican ImagingやMantis Visionの技術はそのうちの2つであり、ちょうどUplinq前週にサンフランシスコで開催されたIntel主催のIDFでも「RealSense Snapshot」を搭載したDellのタブレット製品が紹介されている。このタブレットは10月にも市場投入されることになるが、2015年以降はスマートフォンやタブレットへの3Dカメラ搭載例が一段と増えることになるだろう。

Qualcommが出資する、イスラエルのMantis Visionが開発した3Dカメラ技術「MV4D」。こちらは赤外線照射方式を採用する深度センサーを用いている（写真＝左）。Pelican Imagingの格子状3Dセンサー。16個の細かいイメージセンサーを3Dセンシングに用いる（写真＝右）

3Dカメラでどんなことができる！

　Pelican Imagingのデモをもとに、3Dカメラを使うことでどのようなメリットがあるのかを体験してみる。例えば、何の変哲もないパーティでの1ショットのように見える写真は、写真のフォーカスは真ん中の人物に合っており、手間の人物はピントがぼやけてしまっている。ところが、写真で手前の人物をタップして照準をピンボケした人物に合わせると、今度はフォーカスがこの人物に合った写真に変化する。つまり「再フォーカス」が容易に行えるというわけだ。

この3Dセンサーで得られた画像の効果は明白だ。例えば左の写真は中央の人物にフォーカスが合っているが、これを手前の人物に照準を合わせることで（写真＝右）、ピントを合わせ直すことが可能になる

　この「後からフォーカス」機能では「Lytro」というカメラ製品が有名だが、これをタブレット（スマートフォン）搭載の小型カメラモジュールで実現したものだと考えていいだろう。

　これで分かるのは、この3Dカメラで撮影された写真は「奥行き情報」を持っているということだ。となれば、ほかの応用事例はすぐに思いつく。バストショットなど、人物が背景と少し離れた位置で撮影された写真があるとする（観光地での記念撮影とかが典型だろう）。3Dカメラで撮影されたこの写真は奥行き情報を持っているので、人物と背景を容易に区別できる。そのため、背景のみをモノトーンやセピア調に変換したり、あるいは人物をブラックアウトさせたりできる。また人物だけを切り抜いて、別の写真に合成することも簡単だ。これを応用すれば、例えばハワイの夕陽を背に自宅で相手とチャット……といったことも可能になる。

手前の人物と背景の距離が離れている場合、距離に応じてエフェクトを指定することで、例えば背景のみをモノクローム変換できたりする

これを応用すれば、人物を背景から切り抜いてほかの写真に合成することも簡単だ。ただしこのままでは明度などの差で違和感あるので、合成した人物のみにエフェクトをかけて調整したりするなど、工夫が必要になる

合成した写真も深度情報を持ち続けているので、不気味だが、このような形で手前方向から徐々に人物を浮き上がらせてくることも可能だ

　このように、通常の2Dカメラで撮影された写真と比較して、3Dカメラで撮影された写真はより多くの情報を持っている。今回のデモでは、分かりやすい形でそのデータの一部を見ることができた。Pelican Imagingでは16個のイメージセンサーで撮影された画像をもとに内部処理を行い、物体の深度情報を解析する。そこで得られた深度情報を視覚化したのが以下の写真だ。

深度情報をもとに画像の物体のエッジを抽出したところ。深度情報に応じて色分けされている。同様に、画像合成の基となる深度情報をモノクロの濃淡で表示させるとこうなる

　一方は深度情報をもとに奥行きが色分けされており、さらにエッジ部分が強調されている。もう一方はモノトーン調の濃淡で深度情報を区別したものだ。画像内の特定の点と点の位置関係を把握しているため、下記の写真のようにポイントを指し示すことで2点間の距離を測ることもできる。正確な数字を得られる範囲はカメラの位置から5メートル以内ということで、それより遠い範囲は数字を計測できたとしても、かなりの誤差が発生する可能性があるという。

このように画像上の物体を指定して2点間の正確な長さを測ることができる。ただし有効範囲は5メートル程度で、それ以上の距離は測れても“おおざっぱ”な数字にしかならないという

競合技術との違いと課題

　Pelican Imagingの3D技術の特徴は「16個の格子状に配置されたイメージセンサーを採用」したという点にある。前述のKinectをはじめ、現在多くの3Dカメラで採用されている深度センサーの技術は「赤外線（Infrared：IR）」を用いており、これを赤外線照射装置でカメラ正面に向かって赤外線を当て、その反射情報を専用センサーで受け取ることで深度情報を読み取っている。つまり2Dカメラ＋赤外線センサー＋赤外線照射装置の組み合わせが最低限必要になるということだ。しかも赤外線の届く範囲外では正確な深度を測れないため、スマートフォンやタブレットの利用では距離的に数メートル〜十数メートル程度が計測限界となる（バッテリー消費の問題もある）。

　またPelican Imagingの説明によれば、こうした赤外線を使う技術では「屋外での利用が難しい」という。明るすぎる場所だと計測誤差が増え、暗すぎる場所だと2Dカメラが役に立たない。一方でPelican Imagingの技術では、少なくとも屋内外での普通の可視光が入るレベルであれば問題なく利用できるという。搭載されるのも格子状のイメージセンサーのみで、2Dカメラ＋赤外線センサー＋赤外線照射装置の部分は必要ない。

　ただし、現状のPelican Imagingの技術には2点ほど課題がある。1つはコストの問題だ。格子状のイメージセンサー単体で25ドルほどかかるという。いくらセンサー点数が減ったとはいえ、スマートフォンなどに搭載される昨今のハイエンド向けセンサーの単価が10ドル未満であることを考えれば、かなりのコストアップ要因となる。

　もう1つはプロセッサパワーで、16個のセンサーから得た情報を解析し、さらに大量の情報を持つ画像を逐次表示処理するとなると、汎用のモバイルデバイスではかなり負荷が大きい。実際、Uplinqのデモで用いられていたPelican Imagingのデバイスは、QualcommのQRDタブレットに専用のイメージセンサーを搭載したものだったが、頻繁に固まる様子が散見されるなど、いささかパワー不足感が否めなかった。現行のQRDはSnapdragon 805ベースとみられるため、少なくとも810以降の世代が3Dカメラ搭載デバイスでは求められるだろう。特にGPUパワーの重要性が高く、Adrenoの世代の差による部分も大きいとみられる。

　つまり、作業次第ではプロセッサパワーは今後もまだまだ求められるということだ。今後は搭載するセンサーが増え、そこから得られる情報量も増え続け、それを処理できるだけのパフォーマンスやメモリ容量がスマートフォンやタブレットといったスマートデバイスにも求められる可能性が高いといえる。Qualcommが提供しているプロセッサ「Snapdragon」が、そのカギを握っていると言っても過言ではないだろう。