スマホカメラが進化した裏側で起きていること ソニーのイメージセンサー開発部隊に聞く（3/3 ページ）

[荻窪圭，ITmedia]

いつのまにか暗所でも正確になり、瞳検出も可能になったAFの秘密

――　最近、スマホカメラのAF性能もぐんと上がっている気がしています。特に暗所でのAFが昔に比べて速く正確になりました。今はイメージセンサー上に位相差センサーを埋め込んだ像面位相差AFになっていると思いますが、それも進化しているのでしょうか。

小関氏　暗所でのAFが進化したというのはセンサー開発者自身も撮影して感じているところです。まずは従来の像面位相差センサーですが、以前は全体の3％くらいの画素が「フォーカス情報取得画素」として使われていました。これですと、どうしても密度が低いので瞳検出が難しい。また、暗所ではどうしても信号とノイズの区別が難しいため、ピントを合わせるのが難しくなります。だからといって、フォーカス情報取得画素を増やすと、その分撮影用の画素が減るので画質に影響してしまいます。

　現在は撮影用の画素で位相差検出も行う「デュアルPD」という技術を使っています。左右2つのPDをペアにして1つの画素とする方式で、オンチップレンズを共有することで左右の位相差を取得できます。この方式を使えば、センサー上の全ての画素で位相差を検出できますから、瞳のような小さなものにも合わせられますし、被写体がフレーム上のどこにあっても合わせられますし、暗所でのAFも速く正確になります。1つの画素だけではノイズか信号かの判別が難しくても、全画素の情報があれば平均を取って判断できるからです。デュアルPDの場合は、撮影用の画素を使って位相差検出AFを行うため、画質を損なわずに全面での位相差AFが可能なのもメリットです。

　デュアルPDをクアッドベイヤー配列のセンサーで行うのが「Octa PD（オクタPD）」です。クアッドベイヤーのメリットそのままで、全ての画素でAFが可能になります。

2つのPDに対して1つのオンチップレンズ（イメージセンサーでは全ての画素に対してマイクロレンズがついている）を使うことで、微妙な位相差を検出することが可能になる。これがデュアルPD

当日、デモで見せていただいた概念図より。デュアルPDでは全画素でフォーカス情報を取得。それとクアッドベイヤーを組み合わせることでOcta PDになる

当日、デモで見せていただいた概念図より。クアッドベイヤー配列でリアルタイムHDRを使うと、HDRの状態で位相差AFを使えるので明るい場所でも暗い場所でも瞬時にフォーカスが合うというメリットがある

今後はOcta PDが標準的な機能になりそう

　デュアルPDの概念はちょっと難しいけれども、オンチップレンズを共有するというのがミソのようだ。これによって瞳AFが可能になったり、暗所でのAFが速く安定したりするようになった。実際にはiToFセンサーを併用するなど端末によって細かな差はあるが、最終的に合わせたい被写体を見つけてそこに合わせるか、どこまでセンサーの能力を引き出すかは端末メーカーの腕にかかっているので一概にはいえないが、昔に比べてAFが速く正確になっているのは確かだ。

　現在、Octa PDを搭載しているのはハイエンド機だけということだが、将来は多くの機種で使えるようにしたいとのことである。

スマホに1型の大型センサーは必要なのか

――　お話を伺っていると、センサー技術は昔に比べて進歩しているのが分かりました。さらにコンピュテーショナルフォトグラフィー技術も合わせて、従来のセンサーサイズでも画質はぐんと上がっていると思います。それでも1型といった大型のセンサーは必要なのでしょうか。

小関氏　われわれとしては、カメラはセンサーが大きい方がよりたくさんの光を取り込めるので、美しい写真を撮ることができると考えています。今、モバイルのカメラで写真を撮る人の方が圧倒的に多い時代ですから、そういう方によりよい写真を撮ってほしいというのが全体の願いです。

　1型センサーは2021年に提供を開始して、モバイルでも使いたいという流れが強くなったため、モバイル専用のセンサーを開発しました。大きなセンサーはセンサーから出力される信号の質が一番の魅力。元の信号の特性が良ければ、コンピュテーショナルフォトグラフィーとの組み合わせによってさらによくなります。

――　ただ、1型センサーを搭載できるスマートフォンはサイズやコスト面からも限られてきますよね。

小関氏　その点、同じサイズの画素であっても昔に比べてより多くの光を無駄なく取り込む技術やノイズを減らす技術は常に進化させています。そういう基礎特性の進化はカタログや広告には出てきませんが、毎年のように進んでいます。

　この先はもっとすごいセンサーを開発しますので、そこは期待してほしいと思います。

取材を終えて：1型でOcta PDのセンサーがハイエンド機で増えるか

　イメージセンサーの世界は非常に微細な中でどんどん進化しており、むやみに画素数を増やすのではなく、画素数の増加＋センサーチップに搭載した回路の組み合わせで、多画素ならではのさまざまな機能を実現していた。例えば、リアルタイムHDRなんて動画でも静止画でも大変ありがたいし、高速化でゆがみがなくなったのもいい。

　単に1型の大きなモバイル向けセンサーを作っただけではなく、大きなセンサーならではの新技術が多く投入された魅力的なセンサーになっていたのだ。

　この1型でOcta PDのセンサーはハイエンド機にすごく魅力的だと思う。実質「1型で1200万画素」の絵を作れるとなったら、ダイナミックレンジも広くなるし階調も豊かになるし、基本画質はぐんと上がるはずだ。

　この1型センサーはソニーのXperia PRO-Iの後継機……が出るのならそこでも使われるだろうし、個人的には次のiPhone Proシリーズにも採用されたら面白いなあと（余計に価格が上がりそうではあるけど）思っている。

　1型サイズまでいかなくても、ムリに小さなセンサーに性能を詰めこむのではなく、センサーサイズを維持、あるいは大きくしながらより高性能化しているというのは素晴らしいこと。

　スマホカメラがどんどん良くなっているのはコンピュテーショナルフォトグラフィーのみならず、イメージセンサーの進化も大きいのだ。