「iPhone XS／XS Max」に触れて分かった“Xの系譜”を選ぶ理由：本田雅一のクロスオーバーデジタル（3/3 ページ）

[本田雅一，ITmedia]

進化したカメラ機能、動作の仕組みを掘り下げる

　ところで、このコラムの趣旨とは異なるが、最も進化しているカメラ部分に関して、簡単にその改良点をまとめておきたい。試用機を入手後、仕事で外遊していたためサンプルを撮影できていなかったことから、あくまで取材に基づく解説だが、参考にしていただきたい。

デュアルカメラのスペックはiPhone XS、XS Maxで共通だ

　スマートHDRはモードを設定することなく常に動作している。動画モード時は「ダイナミックレンジ拡張」と表現しているようだが、いずれも仕組みは同じだ。通常露出のフレームに加え、高速シャッターによる露出を抑えたフレームを追加で取り込み、センサーが捉えきれないハイライト部の階調をキャプチャーしておく。

　こうすることで従来より60％広いダイナミックレンジの情報を捉えられるという。通常露出をプライマリーフレーム、シャッター速度を上げたもう1枚をセカンダリーフレームと呼ぶ。常識的に言えば、異なる時間軸の映像を重ねることになるが、Appleは“ズレはない”と話している。

　恐らくだが、プライマリーフレームを基本として、必要に応じてセカンダリーフレームで階調の情報を得ているのだろう。ちなみに前述した前後のバッファも参照しているとのこと。どこまで参照し、どう反映しているのかは不明だ。

　ではどのぐらいセカンダリーフレームの露出を減らすのかだが、動画時は-2EV（1/4の明るさ、シャッター速度で言えば4倍の速度）だそうだ。動画撮影時は各コマの絵柄が変わると困るため、-2EV固定というのはリーズナブルな選択だろう。

　一方、静止画の場合はシーンごとに適切なセカンダリーフレームの露出が自動選択される。画面内の輝度差は構図次第でさまざまであるため、これもリーズナブルなやり方だ。太陽が映り込むようなシーンでも、それなりに空が青く映るのだから、ギリギリまでシャッター速度を上げていると推察される。

　なお、この処理に機械学習は使われていないとのことだ。

　従って、純粋に60％広くなったダイナミックレンジの情報から、トーンマッピングを最適化しているということだろう。

　もっとも、カメラ機能はさまざまな機能が複合的に連動しているため、Neural Engine側での映像識別処理からのフィードバックが入っているならば、構図内に配置されている被写体の簡単な識別ぐらいはやっている可能性もある。

　まだ使い始めてわずかな時間しか経過していないため確定的なことはいいにくいが、先行して公開されているiPhone XSで撮影したサンプル写真を見る限り、かなり賢いトーンマッピングが行われている。

　とりわけ目立つのが、明るいシーンにおいて色の濃度が出ていることだ。いわゆる白飛びに近い領域では、RGBの差分が正しく検出しにくいが、露出を切り替えて撮影することで、明部のディテールをより深く表現できるのかもしれない。

実機で撮影したサンプル1（クリックで実寸表示）

実機で撮影したサンプル2（クリックで実寸表示）

実機で撮影したサンプル3（クリックで実寸表示）

　一方、ポートレートモードに関しては、まだよく分からない部分も多い。

　iPhoneのポートレートモードは、被写体と背景に分離し、それぞれの面について個別の処理を行った後、適切に合成処理が行われる。適切というのは、シャープな部分はシャープに、そうでない部分は不自然さがないようにブレンディングされるという意味だ。

　Neural Engineが進化したためなのか、iPhone Xよりも背景と被写体の分離精度は高まっているようだが、それでも髪の毛が上の端に切れている場合や、複雑な背景の中では洋服と背景の境目を間違えたり、あるいは脇の下の腕と身体の間が正しく切り抜けなかったりなどの誤りは残っている。

　しかし、被写体をきちんと切り抜けている場合のボケ方は良くなっており、顔に丸みが感じられるように、滑らかにボケ感が変化するよう描写される。機械学習をさらに進化させた結果とのことで、まだまだ進化する余地はありそうだ。アップデートでの改善も期待できるだろう。

実機で撮影したサンプル4（クリックで実寸表示）

　この辺りはNeural Engineのみの力を使ったポートレートモードを備えた、カメラ数の少ないiPhone XRが登場するころを見計らって、さまざまなテストを試みてみたい。

　ところで新たに開発したというアウトカメラ用イメージセンサーの画素ピッチは1.4μm。以前は1.2μmだったというから、イメージセンサーのサイズが拡大したことになる。新ISPの処理能力で、より進んだノイズ処理を行っているということだが、ローライト時のS/Nの良さはセンサーサイズの拡大も大きく寄与していそうだ。