米Appleの独自AI「Apple Intelligence」の技術詳細 基盤モデルや学習データなどを解説：Innovative Tech（AI+）（1/3 ページ）

[山下裕毅，ITmedia]

Innovative Tech（AI+）：

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高いAI分野の科学論文を山下氏がピックアップし、解説する。

X： ＠shiropen2

　米Appleは、年次開発者会議「Worldwide Developers Conference 2024」（WWDC24）において、iOS 18、iPadOS 18、macOS Sequoiaに統合される独自AI「Apple Intelligence」（以下、Apple AIと表記）を発表した。このシステムの基盤モデルについて、Appleがブログで説明していたので簡潔にまとめたい。

Appleの独自AI「Apple Intelligence」

　Apple Intelligenceの中核をなすのは、2つの基盤モデルである。1つはデバイス上で動作する約30億のパラメータを持つモデルで、もう1つはAppleのプライベートクラウドで利用可能なより大規模なサーバベースのモデルだ。

　これらの基盤モデルは、ユーザーがApple製品を使って日常的な活動を行うのに役立つことを目的として作成したもの。開発においては、自社の4つの価値観に基づいた責任あるアプローチを取っている。その原則は、「ユーザーのエンパワーメント」「多様性の尊重」「慎重な設計」「プライバシーの保護」の4つの柱から成り立っている。

　ユーザーのニーズに応える便利なツールの提供を目指す一方で、ステレオタイプや偏見の助長には細心の注意を払う。設計から評価に至るまで、倫理的な配慮を欠かさない。オンデバイス処理の活用など、プライバシー保護のための技術的な工夫も怠らない。

基盤モデルのモデリングの概要

個人データを使用しない学習方法

　Appleは2023年にリリースしたオープンソースプロジェクト「AXLearn」フレームワークを使って、基盤モデルを学習している。このフレームワークは、機械学習フレームワーク「JAX」とコンパイラ「XLA」の上に構築されており、TPUやクラウド上のGPU、オンプレミスのGPUなど、さまざまなトレーニングハードウェアやクラウドプラットフォームで高い効率とスケーラビリティを実現している。

　独自の改良として、データやモデル、シーケンス長などの複数の次元で並列化（テンソル並列処理やFSDPなど）を組み合わせて行うことで、大規模モデルを現実的な時間で学習できるようにしている。

　基盤モデルの事前トレーニングには、特定の機能を強化するために選択されたデータや、独自のクローラー「AppleBot」で収集した公開データを使用。ただし、プライベートな個人データやユーザーとのやりとりは、基盤モデルのトレーニングには一切使用していない。インターネット上で公開されている社会保障番号やクレジットカード番号などの個人を特定できる情報を削除するためのフィルターを適用している。

　データの質がモデルの成功に不可欠であるため、学習後にも人間がアノテーションしたデータと合成データの両方を取り入れ、データを慎重に選ぶキュレーションと不要なデータを排除するフィルタリングの手順を実施。そのために、2つの新しいアルゴリズムを開発し実行している。