スマホカメラが進化した裏側で起きていること　ソニーのイメージセンサー開発部隊に聞く（2/3 ページ）

なぜデフォルトは1200万画素なのに4800万画素で撮るのか

――　次に伺いたいのは画素数の話です。今、スマホカメラのデフォルトは12MPですが、いつのまにか50M前後の高画素センサーが開発されています。なぜ12MPのままではいけなかったのでしょう？

小関氏　確かにスマートフォンでは12MPが基本として使われています。ただモバイルのカメラもレンズの進化が進んでおり、解像度に対する表現力が上がっているのですね。静止画に関しては解像度が上がった方が表現力は上がります。一方で動画はフォーマットが決まっており、現在中心の4K動画であれば8Mあればいい。だから12MPがちょうどいいのです。

――　4K動画の4Kは横幅が4000ピクセルという意味ですから（実際には3840ピクセル）、横幅が約4000ピクセルになる12MPがちょうどいいのは分かります。

小関氏　モバイルの制約を考えると、高い解像度で撮り続けるのはメリットが少ないのです。12MPのメリットは、感度やフレームレートを上げられ、消費電力を抑えられること。48MPでは感度よりもディテール優先のときにメリットがあります。きれいな静止画を撮りたいときの高解像度、普段使いの12MPと使い分けができるため、ユーザーの要望によって切り替えることができるのです。

――　12MPと48MPを使い分けるための技術について教えてください。

小関氏　クアッドベイヤーという技術を使って高感度と高解像度の両立を実現しています。RGBそれぞれを4つずつまとめて配置し、それをセンサー内部でベイヤー配列への変換を行っています。実際には48MPの解像度を持つのですが、センサーから出力された時点で12MPのサイズになっているのです。この信号処理も積層構造になったことで実現しました。センサー内でその処理を行えるのです。

解説：ベイヤー配列とは

　イメージセンサー上で実際に光を受ける「画素」はPD（フォトダイオード）が使われている。このPDは光の強さ（輝度）しか得られないので、そのままでは白黒写真しか撮れない。そこで各画素からカラー信号を得られるようカラーフィルターを付け、そこからカラーの画像を生成している。その際のカラーフィルターの配列にはいくつかの種類があり、輝度信号を多く含むG（グリーン）をR（レッド）やB（ブルー）の2倍用意し、GRGBGRGB……と並べたものを「ベイヤー配列」という。現在の主流配列だ。

――　クアッドベイヤーだと、12MPの画像を得るときはシンプルでいいのですが、48MPの画像を作るときはカラー信号が足りなくなるという気がします

小関氏　そこはリモザイク処理をかけて復元しています。詳細はお話できませんが、光の強度と色の強度を分析することで復元し、48MPのカラー映像を作っています。この処理も積層型だからことセンサー内に搭載できました。われわれとしては、12MPの画質を保証した上で、明るい場所ではプラスαの解像度を提供できる技術だと考えています。

――　高感度優先なら12MPで、高画素優先なら48MPだけど、その分感度が落ちるので風景など屋外の写真に向いているということでいいでしょうか。

小関氏　48MP時はデジタルズームに有利というメリットもあります。どういうシーンで解像度を変換するといいのかはいつも議論していますが、そこは端末メーカーさん次第となります。

――　デジタルズーム時の画質がいい端末は、そこを上手に切り替えているのかもしれませんね。

小関氏　12MP時は4つの各画素で感度を変えることもできます。実際には斜めの2つが標準感度、残り2つが高感度と低感度となります。

――　つまり、1回の撮影で露出アンダー、標準露出、露出オーバーの3パターンを同時に撮影して、リアルタイムHDRが可能になるということでしょうか。

小関氏　はい。HDRにはいろいろな方法がありますが、その1つとして画素ごとの感度を変えてセンサー上で合成するリアルタイムHDRがあります。空間的なHDRといいますが、これを採用することで画面上のプレビュー時からHDR処理がされた映像を見ることができます。ただ、従来の複数枚撮影して合成する時間的なHDRも読み出し速度が速くなっているため時間差もなくなり、リアルタイムに近いHDR撮影が可能になっています。

必要に応じて12MPと48MPを使い分ける

　実は、一番伺いたかったのがこの話。なぜわざわざ48MPにするのか、最終的にほとんど12MPで使われるならムリにそうする必要はないんじゃないかと思っていたのだが、センサー内で12MPと48MPを切り替えることで、必要に応じて使い分けられること（デジタルズーム時にすごく有利になる）や、画素ごとに感度を変えることでリアルタイムHDRが実現できるというのはすごい。

　実際に、どういうタイミングで解像度を切り替えているのか、リアルタイムHDRをどう活用するかは端末メーカー次第なのでなんともいえないが、うまく使いこなしてほしいと思う。

　同じ高画素のセンサーを使っていても、メーカーによってデジタルズーム時の画質ってけっこうバラツキがあるからね。