「Pixel 4」のカメラ技術から見える、スマホカメラの進化（1/2 ページ）

[荻窪圭，ITmedia]

　「Pixel 3」が日本へも投入されるや否や、その画質の高さや安定感が評価されたGoogleのスマートフォン。

　そのGoogleがメディア向けに「Pixel 4」のカメラ技術に関する説明会を開いたので参加させてもらったのだが、これがまた、この1年のスマートフォンカメラの進化はどこにあったのかを伝える内容だったのである。

　解説をしてくれたのは、Distinguished EngineerのMarc Lovoy氏。

　テーマは「Googleのスマートフォンにおけるコンピュテーショナルフォトグラフィー（デジタル処理によって画像を生成する技術）と機械学習」。これ、Googleの技術について語ってくれたのだけど、今の「これ、画質いいじゃん」と思えるようなハイエンドのスマートフォンはたいてい同様の取り組みをしていると考えられるので、そういう意味でもすごく参考になったのだ。

Google最新スマートフォン「Pixel 4」

　分かりやすいように4つの例で説明してくれた。

1.HDR+：Pixelでは露出不足の写真を連写

　コンピュテーショナルフォトグラフィーの代表が、連写＋合成だ。その代表がHDR技術で、個人的にこの数年でスマートフォンカメラの画質がぐんと上がったように見える一番の理由だと思う。

　HDRはハイダイナミックレンジの略。明暗差が極端に大きな構図で明部から暗部まできちんと描写する技。今回の説明では典型的な例として、昼間の暗い室内での撮影を取り上げていた。

　暗い室内に写真の明るさ（露出）を合わせると、窓の外は明るすぎて白くなってしまってディテールが分からない。逆に窓の外……つまり昼間の屋外に合わせて撮ると室内が真っ暗になってしまう。

　そういうとき、複数の写真を撮影して合成することで、明るいところはちょっと抑えめに、暗いところはちょっと持ち上げて、両方がきちんと見えている写真を作る技術だ。

複数の写真を合成することで、明暗差を抑えた画像を生成できる「HDR+」

　一般にHDR画像を作るときは、明るく撮った写真（これで室内の暗い部分をしっかり捉える）、暗く撮った写真（これで屋外の明るい部分をしっかり捉える）、中間の写真の3枚を撮り、それぞれ合成することで明暗差を抑えた画像を作る。

　GoogleがHDR+で活用している技術はちょっと違う。これが面白い。

　露出不足の（つまり暗めの）写真を連写で撮るのだという。その方が連写速度は上げられる。明部に合わせたセッティングで撮るのである。そうすると暗部が暗いままになる。

　暗いところは足し合わせることで明るくする。暗部を無理に持ち上げるとノイズも一緒に乗ってくるが、S／N比（信号とノイズの比）は連写枚数の平方根で減っていくので、たくさん撮影してシャドー部を明るくするわけである。

　ただ、それだと全体のコントラストが弱くなるので、エッジ部分のコントラストを強調することで、そう見えないよう調整する――という内容だ。今のスマートフォンカメラの画質が上がっているのは、高速なイメージセンサーと高速な画像処理によって、当たり前のように高速連写をしながら合成して絵を作り出しているからといっても過言じゃないわけで、そのとき何をしているかを解説してくれたのだ。

　Pixel 4がさらに進んだのは、撮影時に画面でHDR後の状態を見られる「Live HDR」。これは機械学習によってこういうときはどう撮影されるかという近似値を持っており、撮影時にはそれを反映させ、実際に撮影したときはきちんとHDRをかけているそうだ。

2.ポートレートモード：髪の毛や毛皮のエッジも自然に表現

　もうおなじみですな。Pixel 3はカメラ1つでポートレートモード（つまり背景をボカした写真）を作っていた。Pixel 4はカメラが2つになった。

　Pixel 3では2つの技を使っていた。1つはデュアルピクセルセンサーの、1つの画素を2つに分けて使えるという特性を利用して深度を測り、そこから深度図を作って背景をぼかす。もう1つは機械学習を使って人の輪郭を抽出する。これら2つを使って背景をボカしていた。

初心者でも簡単に人物の周りをぼかせるポートレートモード

　人物じゃないときは深度図のみを使っていた。Pixel 4はデュアルカメラなので深度図をより正確に作れるようになり、髪の毛や毛皮のエッジを自然に表現できるようになった。

3.超解像ズーム：単なるトリミングよりキレイに

　要するにデジタルズームの性能の話。手持ちで撮ると必ず微妙な手ブレが発生する。連写してそのわずかなズレを重ねることでよりディテールを補完することができるので、より高解像度の写真を撮れ、最高で光学4倍ズームに近い画像を作れる。

　つまり、単に拡大して足りないところを補完しているだけじゃなくて、より細かな処理をしてディテールの情報を得ているというわけで、クロップしたものと比べて見るとその違いは一目瞭然なので、ぜひクロップ（撮った写真の一部を切り出す）よりピンチアウトズーム（つまりデジタルズーム）を使ってください、と。

クロップよりズームの方が鮮明に写せる

　デジタルズームを使って撮ったときのディテールの表現力って各社けっこう差があるのだが、この辺の技術が関係しているのだろう。