一方LLMの世界では、より小さなサイズと計算力で効果的なAI処理を可能にする技術として、bfloat16、4bit量子化、BitNetなどが登場している。
こうした技術の進展を考えると、2024年秋というターゲットは、オンデバイスLLMとしては妥当な線だったと考えられる。
ユーザーが欲しがる処理全てをオンデバイスだけで実行するのは、これから登場してくるであろう技術を総動員してもかなわない。そこでAppleが考えたのは、オンデバイスLLMと、プライベートクラウドであるPCCの2段式アーキテクチャだった。
オンデバイスは3B(30億パラメータ以下)の小型LLMで処理し、それよりも処理能力を必要とするタスクはPCCに送り出す。PCCはApple Siliconベースのサーバシステムが集積された独自のデータセンターで処理する仕組みで、そのためのセキュアでプライバシーを確保したOSも開発している。
このために1年以上かけたのなら仕方ないし、データセンターや専用Apple Siliconサーバプロセッサの開発を含めるとなると、さらに数年の開発期間が必要だったろう。
それらをこなした上での今回の発表だったのだ。
しかし、それだけでは十分ではない。高速なSoCとオンデバイスLLMが可能になったことをうたっても、結局ローカル処理する機能はごく少数というCopilot+ PCを見れば分かるように、オンデバイスで実用的な機能を使えるようにするには困難が伴う。
Appleが採用したのは、1パラメータあたり16bitのモデルを1パラメータあたり平均4bit未満に圧縮する量子化技術と、量子化は一般的な手法だが、Adaptersは独特のものだ。
テキストの概要作成、校正、メールの返信などの用途別にファインチューニングを施した学習モデルをFoundationモデルの上にダイナミックにロードしたりスワップしたりする手法がAdapters。タスクによって、使用するモデルを動的に換えていくため、少ないメモリでも動作する。
ただ、そのためには学習モデルの最適化が必要で、ここに時間と手間がかかる。だからAppleはAI技術者を総動員する必要があり、そのためにApple Carプロジェクトを犠牲にしたのではないかとも推測できる。
まずは米国の英語環境で動くようにし、それができたら他の言語圏、文化への適応が必要となる。1つの巨大なLLMであれば力技で済むことだが、最適化しながらだとそれだけの時間を要する。
Apple Intelligenceがすぐに出ないのは、そのための時間が必要だからだし、日本語対応が2025年のいつかまだ分からない状況だというのも、そういう状況だからなのだろう。
このことに気付くまでは「秋まで出せないとか努力が足りない」という印象だったのだが、今では「分かる。むしろ秋で間に合うのか」という考えに変わった。
ChatGPTのボイスモードと比較すると、Siriは応答性、知識のいずれにおいても劣っていた。しかし、秋以降の英語版Siriにおいては少なくとも応答性は抜群に向上するはずだ。これまでとは異なり、Appleデバイスにある情報はサードパーティーアプリも含めコンテキストに応じた振る舞いができるため、より理解力のあるパートナーとなる。
ここ数年は進化の見られなかったSiriだが、今度は大きな進化が見られそうだ。
その新機能の1つとして、ChatGPTへの仲介機能もある。Siriからテキスト、写真、書類を呼び出してChatGPTに伝え、回答を得ることができる。ChatGPTアプリがあれば別になくてもいい機能だが、GPT-4oを無料で使えるというのはメリットの1つだし、有料ユーザーは限定機能も利用可能だ。
だが、実はApple Intelligenceの構造図にはChatGPTは存在しておらず、Platforms State of the Unionでも全く言及されていない。
ChatGPTはWriting Toolsから呼び出すことはできるし、Composeアプリで画像生成も可能だ。このあたりはAppleがChatGPTを組み込んだAPIを提供しているわけではなく、Apple純正アプリが個別に対応しているということなのかもしれない。
Appleは、OpenAIべったりというわけではなく、Google Geminiの採用もにおわせている。また、主要マーケットの1つである中国においてはどちらのLLMも使えないだろうから、Baiduあたりのサービスを採用する可能性もある。
このあたりの構造も今後、明確になっていくものと考えていいだろう。
そんなわけで期待の大きいApple Intelligenceと次期OSだが、日本で活用できるのはまだまだ先。秋以降は英語で生活する時間が増えそうだ。
Apple、生成AI「Apple Intelligence」発表 オンデバイス処理でSiriも大幅進化、ChatGPTとも連携
Apple Intelligenceでオリジナル絵文字を生成する「Genmoji」、「メッセージ」で利用可能に
「ChatGPT」アプリの登場で“生成AIとSiriの関係”はどう変わる? AppleのAI戦略を予想する
「Siri」と「AI」の関係を整理する
Androidに“Google AI”の新機能 OSにGeminiを統合、「かこって検索」で問題を解く機能などCopyright © ITmedia, Inc. All Rights Reserved.