なぜあのデザインに？ デュアルカメラの秘密とは？ ソニーモバイルに聞く「Xperia XZ2 Premium」（2/2 ページ）

[田中聡，ITmedia]

暗所に強いデュアルカメラの秘密

　Xperia XZ2 Premiumの大きな特徴の一つが、背面にデュアルカメラを搭載したこと。構成は、有効約1920万画素CMOSのカラーセンサーと、有効約1220万画素CMOSのモノクロセンサー。これら2つのセンサーで捉えた画像を、独自に搭載した画像処理チップ「AUBE」で合成することで、暗所でもノイズの少ない鮮明な写真を撮れるとしている。最大ISO感度は、静止画撮影時が従来の12800から51200へ、動画撮影時が従来の4000から12800へ向上した。

カラーセンサーとモノクロセンサーを採用

2つのセンサーでとらえた画像や動画を合成するための専用チップ「AUBE」を搭載している

　なお、「IFA 2018」でXperia XZ2の後継機種である「Xperia XZ3」が発表されたが、XZ3が搭載するのはシングルカメラ。今もなお、Xperiaで背面にデュアルカメラを搭載するのはXperia XZ2 Premiumのみだ。

　ソニーモバイルの調査によると、ユーザーがスマホで撮影する環境の50％以上が暗い環境であることが分かった。そして5％が、ほぼ何も写らないようなところで撮影していたという。この50％のユースケースで効果を発揮できるよう、暗所での撮影性能を上げることに注力した。ただ、カメラ専用機が搭載するような大判センサーをスマホに搭載するのは本体サイズの制約上難しいため、デュアルカメラを採用した。

カメラの画質を担当した板垣秀星氏

　片方のカメラをモノクロセンサーにした理由は、「カラーフィルターが付いていないので、たくさんの光を取り込めるため」と、カメラの画質を担当した板垣秀星氏は話す。またXperia XZ2 Premiumのモノクロセンサーはピクセルサイズ（画素ピッチ）が1.55μmで、カラーセンサーの1.22μmよりも大きく、より多くの光を取り込める。またカラーセンサーは「RGBでそれぞれの信号をカラーに復元する際にディテールが失われるところもある」（市野氏）ため、モノクロの方がより鮮明に記録できる。

　ISO感度が上がるほどノイズが乗りやすくなるが、感度が4倍になったことで、静止画をISO51200で撮影したときは、従来のISO12800と同等の画質になった。見方を変えると、同じISO12800なら従来機種よりもXperia XZ2 Premiumの方がノイズを抑えやすくなる。ほとんど明かりがないようなシーンはもちろんだが、薄暗い室内などの幅広いシーンで、XZ2 Premiumのカメラはより明るく撮影できるはずだ。

従来のXperiaではほぼ写せないような暗所でも明るく撮影でき、ノイズを減らせる効果も得られた

　ちなみに静止画と動画で最大ISO感度が異なるのは、「許容できるノイズの範囲が違うため」（板垣氏）。動画で被写体が動く方がノイズが目立つので、動画の方が最大ISO感度は少なくなっている。

　デュアルカメラの開発で特に苦労したのが「画像のずれ」を抑えること。Xperia XZ2 Premiumのデュアルカメラは、カラーセンサーとモノクロセンサーで「合成」した画像を出力している。しかし、本体が傾くことでセンサーの位置が物理的にずれる「光軸ズレ」と、異なる距離の被写体の位置がずれる「局所ズレ」が起こる。

　光軸ズレについては、ヨー、ピッチ、ロール方向にどれだけずれるかをモジュールに記録させ、ずれないようにソフトで処理をしているという。局所ズレは、近距離の被写体ほどずれやすくなるため、このズレを検出して補正している。「2つのカメラによる画像を合成する方式のデュアルカメラだと、局所ズレがどうしても起きてしまう」（板垣氏）が、Xperia XZ2 Premiumが搭載しているAUBEは、2つのセンサーの画像を合成する際、ずれを補正する役割も担っている。

AUBEで光軸ズレ補正や局所ズレ補正も行っている

　特に、AUBEが効果を発揮するのが、動画をデュアルカメラで撮影するとき。Xperia XZ2 Premiumは動画撮影時にも、2つのカメラで捉えた映像を合成しているが、実はこの処理は、現時点での最新プロセッサでも、内蔵のGPUだけではリアルタイムには行えない。しかしAUBEなら、30fpsや60fpsの動画も、リアルタイムで合成の処理を行える。「他社（のデュアルカメラ）だと、動画で合成はできないのでは」と板垣氏は自信を見せる。

動画をリアルタイムで合成できるのもAUBEのなせる業だ

　ソニーの半導体部門では他のスマホメーカーにカメラのデバイスを提供しているが、AUBEを含む画像処理の味付けはソニーモバイルが独自で行っている。実際、画像処理のために専用チップを搭載しているのは「ソニーモバイルだけ」（市野氏）。

　なお、デュアルカメラは基本的に暗所で使うものを想定しており、十分に明るい場所ではカラーセンサーのみで撮影する。手動でデュアルカメラのオンとオフは切り替えられるが、オートで撮ることが推奨される。発売当初は「後日提供予定」だった、モノクロセンサーのみの撮影や、2つのカメラの視差を生かした背景ぼかし撮影は、現在は利用可能になっている。

　今後もフラグシップ機にはデュアルカメラを搭載するかについて、板垣氏は「将来のことは申し上げられない」と明言を避けたが、Xperia XZ3はシングルカメラだった（取材はXZ3の発表前に実施）。とはいえ「ソニーのチャレンジをこれから続けていきたい」（板垣氏）とのことなので、さらなる進化に期待したい。

　現時点では「4Kディスプレイ」と「デュアルカメラ」がXperia XZ2 Premiumの大きな特徴となっているが、XZ3はQHD+（1440×2880ピクセル）の有機ELを搭載し、映像美を追求している。デュルカメラも、将来的には無印のXZシリーズに搭載される（だろう）ことを考えると、Premiumの特徴を今後どのように打ち出していくかは、注目しておきたい。