スマホカメラが進化した裏側で起きていること ソニーのイメージセンサー開発部隊に聞く(2/3 ページ)
すごく暗い場所でもAFが効くようになったり、気がついたらダイナミックレンジが広くなったりと、ここ数年のスマホカメラはスペックで語られない基本性能が上がっている。そこでセンサーメーカーであるソニーセミコンダクタソリューションズに話を聞きにいった。
なぜデフォルトは1200万画素なのに4800万画素で撮るのか
―― 次に伺いたいのは画素数の話です。今、スマホカメラのデフォルトは12MPですが、いつのまにか50M前後の高画素センサーが開発されています。なぜ12MPのままではいけなかったのでしょう?
小関氏 確かにスマートフォンでは12MPが基本として使われています。ただモバイルのカメラもレンズの進化が進んでおり、解像度に対する表現力が上がっているのですね。静止画に関しては解像度が上がった方が表現力は上がります。一方で動画はフォーマットが決まっており、現在中心の4K動画であれば8Mあればいい。だから12MPがちょうどいいのです。
―― 4K動画の4Kは横幅が4000ピクセルという意味ですから(実際には3840ピクセル)、横幅が約4000ピクセルになる12MPがちょうどいいのは分かります。
小関氏 モバイルの制約を考えると、高い解像度で撮り続けるのはメリットが少ないのです。12MPのメリットは、感度やフレームレートを上げられ、消費電力を抑えられること。48MPでは感度よりもディテール優先のときにメリットがあります。きれいな静止画を撮りたいときの高解像度、普段使いの12MPと使い分けができるため、ユーザーの要望によって切り替えることができるのです。
―― 12MPと48MPを使い分けるための技術について教えてください。
小関氏 クアッドベイヤーという技術を使って高感度と高解像度の両立を実現しています。RGBそれぞれを4つずつまとめて配置し、それをセンサー内部でベイヤー配列への変換を行っています。実際には48MPの解像度を持つのですが、センサーから出力された時点で12MPのサイズになっているのです。この信号処理も積層構造になったことで実現しました。センサー内でその処理を行えるのです。
解説:ベイヤー配列とは
イメージセンサー上で実際に光を受ける「画素」はPD(フォトダイオード)が使われている。このPDは光の強さ(輝度)しか得られないので、そのままでは白黒写真しか撮れない。そこで各画素からカラー信号を得られるようカラーフィルターを付け、そこからカラーの画像を生成している。その際のカラーフィルターの配列にはいくつかの種類があり、輝度信号を多く含むG(グリーン)をR(レッド)やB(ブルー)の2倍用意し、GRGBGRGB……と並べたものを「ベイヤー配列」という。現在の主流配列だ。
―― クアッドベイヤーだと、12MPの画像を得るときはシンプルでいいのですが、48MPの画像を作るときはカラー信号が足りなくなるという気がします
小関氏 そこはリモザイク処理をかけて復元しています。詳細はお話できませんが、光の強度と色の強度を分析することで復元し、48MPのカラー映像を作っています。この処理も積層型だからことセンサー内に搭載できました。われわれとしては、12MPの画質を保証した上で、明るい場所ではプラスαの解像度を提供できる技術だと考えています。
クアッドベイヤー配列から、隣接画素加算を行うと高感度になり、配列変換処理を行うと高解像度になる。積層型にすることでこの回路をイメージセンサー上に搭載することでリアルタイム処理が可能になった(ソニーセミコンダクタソリューションズWebサイトより)
―― 高感度優先なら12MPで、高画素優先なら48MPだけど、その分感度が落ちるので風景など屋外の写真に向いているということでいいでしょうか。
小関氏 48MP時はデジタルズームに有利というメリットもあります。どういうシーンで解像度を変換するといいのかはいつも議論していますが、そこは端末メーカーさん次第となります。
―― デジタルズーム時の画質がいい端末は、そこを上手に切り替えているのかもしれませんね。
小関氏 12MP時は4つの各画素で感度を変えることもできます。実際には斜めの2つが標準感度、残り2つが高感度と低感度となります。
―― つまり、1回の撮影で露出アンダー、標準露出、露出オーバーの3パターンを同時に撮影して、リアルタイムHDRが可能になるということでしょうか。
小関氏 はい。HDRにはいろいろな方法がありますが、その1つとして画素ごとの感度を変えてセンサー上で合成するリアルタイムHDRがあります。空間的なHDRといいますが、これを採用することで画面上のプレビュー時からHDR処理がされた映像を見ることができます。ただ、従来の複数枚撮影して合成する時間的なHDRも読み出し速度が速くなっているため時間差もなくなり、リアルタイムに近いHDR撮影が可能になっています。
必要に応じて12MPと48MPを使い分ける
実は、一番伺いたかったのがこの話。なぜわざわざ48MPにするのか、最終的にほとんど12MPで使われるならムリにそうする必要はないんじゃないかと思っていたのだが、センサー内で12MPと48MPを切り替えることで、必要に応じて使い分けられること(デジタルズーム時にすごく有利になる)や、画素ごとに感度を変えることでリアルタイムHDRが実現できるというのはすごい。
実際に、どういうタイミングで解像度を切り替えているのか、リアルタイムHDRをどう活用するかは端末メーカー次第なのでなんともいえないが、うまく使いこなしてほしいと思う。
同じ高画素のセンサーを使っていても、メーカーによってデジタルズーム時の画質ってけっこうバラツキがあるからね。
関連記事
- デジタルカメラをも駆逐 スマホのカメラが大幅な進化を遂げた理由
今回はスマホに搭載されるカメラの進化についてまとめてみる。多眼化した機種が普及し始めた2017年から進化が始まり、2022年ではイメージセンサーの大型化や画素数の増加など、めざましい進化を遂げている。 - 今なおスマホのカメラに足りないと思う「2つの機能」 2022年の進化を占う
2020年に「超広角・広角・望遠」のトリプルカメラが定着し、2021年はどこを強化するか、カメラを増やすのか、それぞれのカメラを強化するのか。意外と面白い展開となった。 - シャープに聞く「AQUOS R7」の進化点 1型センサーのカメラとIGZOディスプレイは何が変わったのか
2022年夏商戦向けのスマートフォンのなかでも高価な「AQUOS R7」。1型のCMOSイメージセンサーを搭載し、ライカ(Leica)が画質監修をした。そんなAQUOS R7のカメラ、ディスプレイには、いったいどんな技術や機能が詰め込まれているのか、シャープでAQUOS R7の企画開発に関わった方々に話を聞いた。 - 「Xperia 1 IV」のカメラを試す 超広角から望遠まで「賢いAF」で撮れるのが気持ちいい
ソニーの一眼レフカメラ「α」シリーズの技術を取り入れたフラグシップスマホ「Xperia 1 IV」のカメラ性能を試す。望遠カメラが光学ズームになり、センサーは高速読み出しが可能になった。さらに「Xperia PRO-I」で使えた「Videography Pro」も使えて、気持ちいい撮り心地だ。 - Sペン内蔵で利便性が向上した「Galaxy S22 Ultra」のカメラ 1億800万画素や30倍ズームの実力は?
スマホカメラ四天王の一角を占めるGalaxy Sシリーズの2022年モデル「Galaxy S22 Ultra」が登場した。超広角から10倍望遠までいけるハイエンドスマホの実力を探ってみた。
Copyright © ITmedia, Inc. All Rights Reserved.