「Snapdragon 888」でユーザーはどんな恩恵を受けるのか？ 進化の中身を徹底解説する：Qualcomm Snapdragon Tech Summit Digital 2020（2/3 ページ）

[鈴木淳也（Junya Suzuki），ITmedia]

複眼カメラのレンズごとにISPユニットを割り当て

　だが、これら2つより注目すべきは、前述のようにスマートフォンでの主要用途に特化させた部分だろう。イメージ処理を行うSpectra 580 CV-ISPでは3つのISPユニットを備え、前モデル比35％の性能向上を図っている。具体的にどういったことが可能かといえば、高品質な写真や動画撮影が可能になるだけでなく、例えば3つの4K HDR動画の同時撮影が可能になる。

　昨今、3つ以上のカメラレンズを備えるハイエンドスマートフォンも珍しくないが、レンズごとにISPユニットを割り当てることで映像の同時処理が可能になる。スムーズなズーム処理はもちろん、露出などを変更した複数の映像を組み合わせて処理する際などに有効だ。半導体の世界では、微細化によってトランジスタを新たに実装できるようになった分は、必要に応じて各ユニットに面積を割り当てているが、このような形でISP増加の方向にかじを切ったのは、スマートフォンでカメラ機能が重視されるようになったからこそだといえる。

Snapdragon 888を特徴付ける強化点がISPの3重化。4K HDR映像を同時に3つ処理できる

Snapdragon 888でサポートされる撮影機能。特にスマートフォンのハイエンドモデルで3眼が当たり前になりつつある現状を受けてのISP強化がポイントとなる

スマートフォンのカメラでは異なる画角のレンズが搭載されていることが多いが、それぞれで2800万画素の写真撮影をサポートする

スマートフォンが備えるカメラのズーム動作は、デジタルによる疑似処理となっているため、倍率に応じてレンズ切り替えが発生して一瞬動作が止まることがある（特にウルトラワイドに切り替わったとき）。撮影時は3つのISPが常に待機状態にあるため、このようなシチュエーションでもスムーズなズーム処理が可能になる

映像処理をAIで補完、高度な編集が容易に

　処理能力の高いプロセッサを内蔵するスマートフォンにおいてComputational Photographyはごく当たり前のものとなりつつあり、最新のスマートフォンのカメラ機能でこれをサポートしていないケースの方がもはや珍しいだろう。

　前述のSpectra 580でISPユニット増設によるSnapdragonの入出力機構が強化されたとすれば、そこで生まれた大量のデータを内部的に効率よく処理するのがAIエンジンの役割となる。Snapdragon 888におけるAIエンジンは機能強化されたDSPのHexagon 780を中心に、KryoやAdreno、そしてSensing Hubを組み合わせる形で実装されている。

3種類の演算ユニットを大容量の共有メモリでつなぎ、処理能力を向上させたHexagon 780

AI機能そのものはHexagonを中心にCPU、GPU、ISP、そして低電力駆動で処理を補助するSensing Hubを組み合わせることで効力を発揮する

　単純にスマートフォンにおける「AI」や「Machine Learning」と聞くと、普段の生活でどう役に立っているのか分かりにくいが、例えば、これまで音声入力したデータをサーバ経由で解析していたものが、手元の端末で完結する――といった例だと分かりやすい。オフライン環境でも音声認識機能が使えるし、何よりレスポンスが圧倒的に早くなる。

　これを映像に当てはめれば、撮影した画像を最適な形で自動フィルタリングして補正をかけたり、あるいは露出を上げつつノイズを大幅に低減することで暗所での美麗な映像の撮影を可能にしたりと、本格的なカメラで撮影して現像処理をしなくても、誰でも簡単に同じ条件下でベストと呼べる撮影が可能になる。筆者の個人的意見だが、近年発達したHDRは特にこの仕組みの恩恵を大きく受けており、従来は難易度の高かった逆光や明暗が激しい環境でも、ワンショットでほぼ意図通りの撮影が可能になっている。

AI処理の強化により、例えば暗所撮影での映像クオリティーの大幅向上が期待できる

ISPと連動させることで、10ビットの色深度によるHDR撮影が可能に

　このように、AIは特に撮影後により高品質な編集処理を可能にするといえるが、Qualcommによれば、Snapdragon 888ではAIとISPを連動させることで、オートフォーカスや露出の自動補正といった撮影時の機能強化も期待できる。また後工程においても、Morphoの「Semantic Segmentation（意味付けによる分類）」によるAI分類機能を使うことで、撮影映像を要素ごとに分類し、自動的に最適なフィルタリングが行えるようになっている。

　Snapdragon 865が発表されたSnapdragon Tech Summit 2019でもデモが紹介されたが、AI性能が向上しているということは、それだけ高画質の動画に対してリアルタイムかつSemantic Filteringを適用できることを意味する。つまり、10万円程度のスマートフォンさえ1台あれば、特に高度な技術や高価な機材、ソフトウェアなしで誰でも手軽に高品質な記録映像が撮れるというわけだ。

ニューラルネットを利用したオートフォーカスや露出補正、最適なホワイトバランスの適用など、オート撮影時の基本機能もAIに裏付けされている

撮影後のフィルター適用でもAIは活用される。例えば子どもを撮影した何気ない動画だが……

後処理の工程で「Semantic Segmentation（意味付けによる分類）」が行われ、それぞれに最適なフィルターが適用される

　もう1つ、QualcommがAI機能の一部として紹介しているのが「Sensing Hub」だ。この超低消費電力で動作する機能ユニットは、各種センサーや通信を経て得られるストリームデータを中継し、他の（消費電力の大きい）処理ユニットに受け渡すまでもない軽い処理をその場で処理する。

　同社はSnapdragonで「Always-on」のコンセプトをうたっているが、Sensing Hubはその意味で中核をなす存在といえる。第2世代のSensing HubではAI機能を特に強化しており、同社によれば、それまでHexagonに渡っていたデータの8割ほどをSensing Hub上で処理可能という。

　また、開発者がSensing Hubの機能を利用しやすいよう、TensorFlow Microのフレームワークが提供されている。全体として、26TOPSという前モデル比で70％以上のAI処理能力を実現しつつ、Always-onによる低消費電力での長時間動作も実現するという両面での機能強化が図られている。

Sensing Hubでは各種センサーや通信を通じて得られるデータをバックグラウンドで低消費電力で処理する機能に加え、負荷の軽いAI処理については他のユニットにはまわさず内部で完結してしまう

AI機能のまとめ。これら全体での機能強化を合わせ、Snapdragon 865での15TOPSを大幅に上回る26TOPSの処理能力を実現する