「星空も撮れる」Pixel 4カメラのヒミツ スタンフォード大教授が「Made by Google」で語ったこと（2/2 ページ）

[井上輝一，ITmedia]

なぜ手ブレで超解像できるのか？

　一般的なイメージセンサーは「ベイヤーフィルター」といわれるカラーフィルターを用いることで、「赤色光の写真」「青色光の写真」「緑色光の写真」を同時に撮影し、重ね合わせることでカラー写真を得る。ベイヤーフィルターの配列は左上から右下へ順に「緑、赤、青、緑」という正方形のパターンで、各色に1ピクセルが対応するため、例えば青色を記録するピクセルの位置に来る、赤や緑の光データは記録されない。

ベイヤーフィルターの仕組み（Google AI Blogより）

　通常の撮影では、周囲のピクセルから色情報を推測することで各ピクセルの3原色の情報を補完するが、あくまで推測であるために解像感が落ちたり、被写体にない色が写る「偽色」といった問題が発生したりする。

　この問題の解決には、各色を捉えるセンサーを積層することで各ピクセルが3原色の情報を同時に記録できるイメージセンサーを開発するというアプローチや、ボディ内手ブレ補正機構を活用し、イメージセンサーを1ピクセルずらしながら連写合成することで各ピクセルに3原色の色情報を記録するというアプローチなどがある。

　前者はシグマの「Foveon」センサーで、後者はリコーイメージング（PENTAX）の「リアル・レゾリューション・システム」やソニーの「ピクセルシフト」などがそれに当たる。

（関連記事：2億4000万画素の衝撃！　ソニー「α7R IV」で最先端核融合炉を激写した結果）

ソニー「α7R IV」のピクセルシフトで撮影したじゅうたんの写真を拡大していくと……

　Googleの超解像ズームは、後者のセンサーシフト式に近い。手ブレによってイメージセンサーがどれほど揺れたかを計算し、連写した各写真データの各ピクセルの色情報をマッピング。これによってセンサーシフトと同様に、各ピクセルが3原色の色情報を持つ状態となるため、通常撮影に比べて解像感が上がり、ズームしてもそこまで画質が損なわれない──というのが、超解像ズームの概要だ。

　Pixel 3では標準レンズの単眼カメラで超解像ズームを行っていたが、Pixel 4では「（超解像ズームに）標準レンズと望遠レンズの両方を利用している」（レボイ教授）としており、Pixel 3より高精度な超解像ズームが期待できる。

超解像ズームの概要

「超広角より望遠が重要」　Pixel 4が超広角レンズを搭載しなかった理由

　発表の中で、レボイ教授は興味深い発言も行った。

　「一眼カメラのレンズの中で最もポピュラーなものは、場面を拡大できるものであって小さく見せるものではない。超広角のアングルも面白いものではあるが、われわれは望遠撮影がより重要であると考えている」（レボイ教授）

　超解像ズームが望遠のための機能であることを考えると、望遠レンズの搭載は当然の流れだといえるが、iPhone 11などが搭載するような超広角レンズを採用しない理由には、このような考えがあるようだ。

カメラは「光の切り取り」から「瞬間の再現」へ？

　星空の撮影や超解像ズームの他にも、機械学習を駆使したホワイトバランスの最適化や、HDR撮影のライブビュー化もPixel 4で実現した。いずれも、ソフトウェア処理に振り切ったGoogleらしい機能といえる。

　Googleやレボイ教授が語る「計算的写真術」は、写真という1枚の絵の作り方を従来の概念から徐々に変えていくものなのかもしれない。

　もちろん、連写やずれ補正を使ったノイズ除去や、深度合成、複数回の露光を利用した作品表現というのはこれまでも行われてきた。しかし、従来は撮影者がそれを明確に意図して行うもので、カメラ自身が行うのは「シャッターを開閉してその瞬間の光を切り取ること」だった。

　いまや、手のひらに収まる小さな端末がPCと見紛うほどの計算性能を発揮する。かつてPCで行ってきた複雑な画像処理も、スマートフォンだけで完結できるようになりつつある。

　計算的写真術は、1度の撮影で最高の1枚を撮ることにはこだわらず、連続写真という時間軸方向の光データを計算することで、ある瞬間に見えたものを“再現”しているといっていいのではないか。

　フルサイズなど大きなイメージセンサーを持つカメラ然としたカメラを愛好する側からすれば、「そんな“再現”はウソの写真だ」という批判もあるかもしれない。

　しかし、写真がデジタルになってから、計算処理を伴わない写真はない。搭載できるセンサーサイズに限界があるスマートフォンのカメラが、時間軸方向に撮影を拡張することで捉えられる光をかさ増しするのは、デジタル写真のアプローチとして不思議ではない流れだ。

　しかも、Pixel 4がどんなアルゴリズムで計算しているかを知らなくても、スマホを持ってカメラボタンを押しさえすれば、誰でもそんな“写真”を撮れるようになる。

　良い写真を撮りたければ、良い被写体、良い条件のライティング、良い光学性能のレンズ、良いカメラボディを──。そんな写真の常識が、Googleの示す計算的写真術で変わっていくのかもしれない。