「Snapdragon 855」で注目したい「5G」と「AI」 2019年以降のスマホで可能になること：Qualcomm Snapdragon Tech Summit 2018（2/2 ページ）

[鈴木淳也（Junya Suzuki），ITmedia]

最新のAI技術で可能になること

　こうしたAI処理は、実際には業界標準のフレームワークに準拠する形で実装されている。一方で、それだけでは訴求力が弱いのも事実で、幾つかの強力な機械学習ライブラリやアプリケーションを持つ企業らとパートナーを組み、よりユーザーに分かりやすい形でそのメリットを訴求する。典型的なものが、Computer Visionの研究開発では最先端を走る中国のSense Timeの技術で、画像認識や写真への“後ボケ”処理の追加など、応用事例としては身近で非常に分かりやすいものだ。

　Google Lensも単に「撮影した画像でWeb検索をかける」というだけでなく、「画像以外の情報がないために目的の情報にたどりつけない」といったニーズに対応しつつ、「画面に映るテキスト情報を抽出して自動翻訳や要約に応用する」といったことも可能だ。以前までのGoogleであれば「情報は全てクラウド側に投げて処理する」という考えもあったかもしれないが、「Pixel 3」ではAI対応を前面に打ち出して「必要最低限のデータ以外はエッジ側で処理する」ようになっており、今後しばらくはエッジ側でいかにさまざまなアプリケーションを盛り込めるかの競争が加熱するだろう。

AIでの学習済みエンジンはTensorFlowなどの標準的なDNNフレームワーク上で動作するため、Snapdragon 855でもこれら業界標準フレームワークの数々をサポートしている

強化されたAIエンジンによって、さまざまな興味深いアプリケーションが動作するようになる。パートナー各社のソリューションを組み合わせ、855の応用例を広げる。中国系企業が多数並んでいるのは、AI研究が同国で盛んであり、その応用例が多数登場していることを反映したものと考えられる

中国SenseTimeの「SensePhoto」を使った撮影後エフェクト処理の例。写真内の映像の位置関係を自動的に判断して、後からボケを追加できる

こちらはGoogle Lensでテキスト抽出を行っているところ。何気ないスナップ写真から自動OCRによる翻訳やテキスト検索など、応用範囲は多い

Qualcomm AI Engineを取り巻くエコシステム

最近のスマートフォン端末でのカメラ機能の進化を語るうえで欠かせないのが“AI”による画像処理機構。Snapdragonでは取得した画像をモノクロ化して深度を測っている

　そして今回興味深いのは、こうした学習済みライブラリの一部をSnapdragon 855の動作コアの一つとしてハードウェアに組み込んだ点だ。具体的には、Qualcommが業界初という画像認識用プロセッサ「CV-ISP（Computer Vision - Image Signal Processor）」が、エンコーダーやデコーダーなどの処理機構を束ねた「Spectre 380」の中に組み込まれている。

今回のSnapdragon 855では、ISPの「Spectre 380」に画像認識（Computer Vision）用の専用処理機構を搭載している。こうしたCV-ISPは業界初の事例だという

　Qualcommは「パートナーのライブラリを組み込んだ」とだけ述べて詳細を説明していないが、恐らくは前段でも説明したSense Timeの技術が含まれている可能性が高い。CV-ISPでは画像情報を基にした“深度”の計測、複数オブジェクトの属性付け（種類分け）や追跡などが可能だという。前述の後ボケ処理での応用の他、4K HDR動画撮影の過程でリアルタイムにボケを付与できるなど、小型の汎用（はんよう）デバイスでは従来まで非常に難しかったことを実現できる。

　残念ながら実働デモは会場で展示されていなかったが、Snapdragon 855搭載デバイスが登場し始める2019年春以降には実際に見られるだろう。カメラ機能への応用は非常に分かりやすいため、性能アピールにも適している。

　ソフトウェアではなくハードウェアで実装した理由は、パフォーマンスと電力効率の面で圧倒的に後者が有利だからだ。反面、ハードウェアは以後の更新が行えないため、トレンドの変化に弱いという側面もある。そのため、Armのような汎用コアを半導体メーカーにライセンスする企業は、最終製品を市場に投入するAppleやHuaweiと比べて大胆な施策を打ち出しにくく、あくまでソフトウェア寄りの実装に頼らざるを得なかった。

Computer Visionをハードウェア化したことで何が可能になるのか。例えば、4K HDR動画の撮影中にリアルタイムでボケ処理を追加するといったこともモバイル端末だけで可能だ

カメラを通じて入力された映像をリアルタイムでセグメントを分けることで、リアルタイムに背景色のみ変更するなど、より高度なエフェクトが可能になる

Computer Visionをハードウェア化する最大のメリットは省電力性とパフォーマンス。4K動画撮影のような重い処理をこなすだけでなく、より省電力で高度な機能が利用できるようになる

　Qualcommによれば「CV-ISPを使うかは各ベンダーやアプリ開発者の判断次第。必要ならソフトウェアで実装すればいい」とのことで、何もCV-ISPにこだわる必要はないとのスタンスだ。もっとも、Snapdragon 855の製品サイクルを考えれば4〜5年程度の製品寿命であり、次の技術をキャッチアップする必要が出てきたタイミングでは既に新しいSnapdragonが登場しており、トレンドを完全にキャッチアップする必要はないともいえる。それよりは、いまはCV-ISPの効率処理のメリットを享受した方がいいという考えだ。

HEIFへのネイティブ対応をうたう

　Snapdragon 855でのもう一つの話題は「HEIF（High Efficiency Image File Format）」へのネイティブ対応だ。HEIFは新しいイメージフォーマットで、既に過去30年近くにわたって広く活用されてきたJPEGなどと高画質・高圧縮率で比較されることが多い。2018年にリリースされたWindows、macOS、iOS、Androidの各最新バージョンで対応が進んでおり、対応アプリケーションも増加しつつある。

　Qualcommによれば、HEIFの名前が挙がるときにはその圧縮率のみに注目が集まりがちだが、実際には「イメージコンテナ」としての意味合いが強く、単純に1枚の画像だけでなく、その属性情報の他、複数枚の画像や動画を全てパッケージにして1つのファイルに保存できるという特性がある。例えば異なるアングルの画像や倍率の画像を格納しておくことで、プレビュー時に好みの画像だけを抽出したり、あるいは深度情報の組み合わせで後処理を可能にしたりと、応用範囲は広い。

　これが意味するのは、このHEIFを作成できるだけの画像処理の仕組みやコーデック対応がSnapdragon 855では行われていて、さらに十分なパフォーマンスも備えているということだ。モバイル端末としては初となる4K HDR 10+にも対応し、映像記録端末として優れていることをアピールしている。いずれにせよ、2019年以降のスマートフォンのカメラは単純に「写真を撮ってシェアする」ということにとどまらない活用が進むことが期待される。

JPEGは汎用の画像フォーマットとして過去30年近くにわたって市民権を得たが、昨今の高度化する映像処理に比して記録される情報が少ないという問題がある

Snapdragon 855では汎用の映像フォーマットHEIF（High Efficiency Image File Format）をネイティブサポートしており、より多くの情報を1つのファイルに詰め込める

HEIFではメタタグ的な情報だけでなく、異なる角度や倍率の写真、深度、HDR、動画など、あらゆる画像情報をコンテナ化して1つのファイルに格納できる。また圧縮率が高い点も評価されている

Qualcommによれば、モバイル端末としては初となる4K HDR 10+にも対応

（取材協力：クアルコムジャパン）