Innovative Tech（AI+）

米Appleの独自AI「Apple Intelligence」の技術詳細　基盤モデルや学習データなどを解説（1/3 ページ）

公開 2024年06月13日 12時00分

著者

山下裕毅

[ITmedia]

印刷する連載新着通知を受け取る

Innovative Tech（AI+）：

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高いAI分野の科学論文を山下氏がピックアップし、解説する。

X：＠shiropen2

　米Appleは、年次開発者会議「Worldwide Developers Conference 2024」（WWDC24）において、iOS 18、iPadOS 18、macOS Sequoiaに統合される独自AI「Apple Intelligence」（以下、Apple AIと表記）を発表した。このシステムの基盤モデルについて、Appleがブログで説明していたので簡潔にまとめたい。

Appleの独自AI「Apple Intelligence」

　Apple Intelligenceの中核をなすのは、2つの基盤モデルである。1つはデバイス上で動作する約30億のパラメータを持つモデルで、もう1つはAppleのプライベートクラウドで利用可能なより大規模なサーバベースのモデルだ。

　これらの基盤モデルは、ユーザーがApple製品を使って日常的な活動を行うのに役立つことを目的として作成したもの。開発においては、自社の4つの価値観に基づいた責任あるアプローチを取っている。その原則は、「ユーザーのエンパワーメント」「多様性の尊重」「慎重な設計」「プライバシーの保護」の4つの柱から成り立っている。

　ユーザーのニーズに応える便利なツールの提供を目指す一方で、ステレオタイプや偏見の助長には細心の注意を払う。設計から評価に至るまで、倫理的な配慮を欠かさない。オンデバイス処理の活用など、プライバシー保護のための技術的な工夫も怠らない。

基盤モデルのモデリングの概要

個人データを使用しない学習方法

　Appleは2023年にリリースしたオープンソースプロジェクト「AXLearn」フレームワークを使って、基盤モデルを学習している。このフレームワークは、機械学習フレームワーク「JAX」とコンパイラ「XLA」の上に構築されており、TPUやクラウド上のGPU、オンプレミスのGPUなど、さまざまなトレーニングハードウェアやクラウドプラットフォームで高い効率とスケーラビリティを実現している。

　独自の改良として、データやモデル、シーケンス長などの複数の次元で並列化（テンソル並列処理やFSDPなど）を組み合わせて行うことで、大規模モデルを現実的な時間で学習できるようにしている。

　基盤モデルの事前トレーニングには、特定の機能を強化するために選択されたデータや、独自のクローラー「AppleBot」で収集した公開データを使用。ただし、プライベートな個人データやユーザーとのやりとりは、基盤モデルのトレーニングには一切使用していない。インターネット上で公開されている社会保障番号やクレジットカード番号などの個人を特定できる情報を削除するためのフィルターを適用している。

　データの質がモデルの成功に不可欠であるため、学習後にも人間がアノテーションしたデータと合成データの両方を取り入れ、データを慎重に選ぶキュレーションと不要なデータを排除するフィルタリングの手順を実施。そのために、2つの新しいアルゴリズムを開発し実行している。

次ページへ iPhone 15 Proでは“30トークン／秒”を生成

印刷する

Innovative Tech（AI+）

2019年の開始以来、多様な最新論文を取り上げている連載「Innovative Tech」。ここではその“AI編”として、人工知能に特化し、世界中の興味深い論文を独自視点で厳選、解説する。執筆は研究論文メディア「Seamless」（シームレス）を主宰し、日課として数多くの論文に目を通す山下氏が担当。イラストや漫画は、同メディア所属のアーティスト・おね氏が手掛けている。

連載新着通知を受け取る

この連載の記事をもっと見る