「Pixel 4」のカメラ技術から見える、スマホカメラの進化(1/2 ページ)
Googleがメディア向けに「Pixel 4」のカメラ技術に関する説明会を開いた。この1年のスマートフォンカメラの進化はどこにあったのかを伝える内容だった。テーマはGoogleのスマートフォンにおけるコンピュテーショナルフォトグラフィーと機械学習。
「Pixel 3」が日本へも投入されるや否や、その画質の高さや安定感が評価されたGoogleのスマートフォン。
そのGoogleがメディア向けに「Pixel 4」のカメラ技術に関する説明会を開いたので参加させてもらったのだが、これがまた、この1年のスマートフォンカメラの進化はどこにあったのかを伝える内容だったのである。
解説をしてくれたのは、Distinguished EngineerのMarc Lovoy氏。
テーマは「Googleのスマートフォンにおけるコンピュテーショナルフォトグラフィー(デジタル処理によって画像を生成する技術)と機械学習」。これ、Googleの技術について語ってくれたのだけど、今の「これ、画質いいじゃん」と思えるようなハイエンドのスマートフォンはたいてい同様の取り組みをしていると考えられるので、そういう意味でもすごく参考になったのだ。
分かりやすいように4つの例で説明してくれた。
1.HDR+:Pixelでは露出不足の写真を連写
コンピュテーショナルフォトグラフィーの代表が、連写+合成だ。その代表がHDR技術で、個人的にこの数年でスマートフォンカメラの画質がぐんと上がったように見える一番の理由だと思う。
HDRはハイダイナミックレンジの略。明暗差が極端に大きな構図で明部から暗部まできちんと描写する技。今回の説明では典型的な例として、昼間の暗い室内での撮影を取り上げていた。
暗い室内に写真の明るさ(露出)を合わせると、窓の外は明るすぎて白くなってしまってディテールが分からない。逆に窓の外……つまり昼間の屋外に合わせて撮ると室内が真っ暗になってしまう。
そういうとき、複数の写真を撮影して合成することで、明るいところはちょっと抑えめに、暗いところはちょっと持ち上げて、両方がきちんと見えている写真を作る技術だ。
一般にHDR画像を作るときは、明るく撮った写真(これで室内の暗い部分をしっかり捉える)、暗く撮った写真(これで屋外の明るい部分をしっかり捉える)、中間の写真の3枚を撮り、それぞれ合成することで明暗差を抑えた画像を作る。
GoogleがHDR+で活用している技術はちょっと違う。これが面白い。
露出不足の(つまり暗めの)写真を連写で撮るのだという。その方が連写速度は上げられる。明部に合わせたセッティングで撮るのである。そうすると暗部が暗いままになる。
暗いところは足し合わせることで明るくする。暗部を無理に持ち上げるとノイズも一緒に乗ってくるが、S/N比(信号とノイズの比)は連写枚数の平方根で減っていくので、たくさん撮影してシャドー部を明るくするわけである。
ただ、それだと全体のコントラストが弱くなるので、エッジ部分のコントラストを強調することで、そう見えないよう調整する――という内容だ。今のスマートフォンカメラの画質が上がっているのは、高速なイメージセンサーと高速な画像処理によって、当たり前のように高速連写をしながら合成して絵を作り出しているからといっても過言じゃないわけで、そのとき何をしているかを解説してくれたのだ。
Pixel 4がさらに進んだのは、撮影時に画面でHDR後の状態を見られる「Live HDR」。これは機械学習によってこういうときはどう撮影されるかという近似値を持っており、撮影時にはそれを反映させ、実際に撮影したときはきちんとHDRをかけているそうだ。
2.ポートレートモード:髪の毛や毛皮のエッジも自然に表現
もうおなじみですな。Pixel 3はカメラ1つでポートレートモード(つまり背景をボカした写真)を作っていた。Pixel 4はカメラが2つになった。
Pixel 3では2つの技を使っていた。1つはデュアルピクセルセンサーの、1つの画素を2つに分けて使えるという特性を利用して深度を測り、そこから深度図を作って背景をぼかす。もう1つは機械学習を使って人の輪郭を抽出する。これら2つを使って背景をボカしていた。
人物じゃないときは深度図のみを使っていた。Pixel 4はデュアルカメラなので深度図をより正確に作れるようになり、髪の毛や毛皮のエッジを自然に表現できるようになった。
3.超解像ズーム:単なるトリミングよりキレイに
要するにデジタルズームの性能の話。手持ちで撮ると必ず微妙な手ブレが発生する。連写してそのわずかなズレを重ねることでよりディテールを補完することができるので、より高解像度の写真を撮れ、最高で光学4倍ズームに近い画像を作れる。
つまり、単に拡大して足りないところを補完しているだけじゃなくて、より細かな処理をしてディテールの情報を得ているというわけで、クロップしたものと比べて見るとその違いは一目瞭然なので、ぜひクロップ(撮った写真の一部を切り出す)よりピンチアウトズーム(つまりデジタルズーム)を使ってください、と。
デジタルズームを使って撮ったときのディテールの表現力って各社けっこう差があるのだが、この辺の技術が関係しているのだろう。
関連記事
望遠レンズ搭載で「Pixel 4」のカメラは何が変わったのか? Pixel 3と比較する
シングルカメラながら、なぜか背景がちゃんとボケる賢さときれいな夜景モードと安定した画質が定評のある「Pixel 3」。その後継機となる「Pixel 4」は、デュアルカメラを搭載してきた。新たに搭載した望遠レンズを含めた実力はいかほどか?本当に“同じ”? 「Pixel 3」と「Pixel 3a」のアウトカメラを撮り比べる
Googleのスマートフォン「Pixel 3」と、その廉価版に相当する「Pixel 3a」。両者のアウトカメラは基本スペックが同じということになっているが、本当に同じなのか? 撮り比べてみるのである。AIの力でデュアルカメラ超え? 「Pixel 3 XL」の“賢い”カメラの実力を見る
Google純正のスマートフォン「Pixel 3」「Pixel 3 XL」が日本に上陸。トレンドに逆らうようにアウトカメラはあえてシングルで、インカメラがデュアルという面白い構成。どんなものなのか、撮り試してみましょう。ハード、ソフト、AIの三位一体で攻める「Pixel 4」 “我が道を行く”ゆえの課題も
10月24日にGoogleの最新スマートフォン「Pixel 4」「Pixel 4 XL」が発売される。ハードウェアとしては、デュアルカメラ化したことや、電波を使ってジェスチャーを検知する「モーションセンス」に対応した。比較されがちなiPhoneとは開発思想が異なるが、他社比較から見える課題もある。「Pixel 4」は何が新しい? 3/3aと比較、ネックは価格か
Googleの最新スマートフォン「Pixel 4」「Pixel 4 XL」が10月24日に発売される。カメラが進化し、2020年春からは新機能の「モーションセンス」が利用可能になる予定。Pixel 3や3aとの違いをまとめつつ、Pixel 4は買いなのかどうかを考えたい。
Copyright © ITmedia, Inc. All Rights Reserved.