Google、「Gemma 4」のテキスト生成を最大3倍高速化する「MTP」をリリース
米Googleは5月6日(現地時間)、4月に公開した高性能オープンモデル「Gemma 4」向けに、テキスト生成を最大3倍高速化するよう設計されたマルチトークン予測ドラフター(MTP)をリリースしたと発表した。
通常のLLMの推論はメモリ帯域幅がボトルネックになりやすく、単一のトークンを生成するためだけに数十億のパラメータをVRAMから演算ユニットへ移動させる必要があり、計算リソースが十分に活用されず高いレイテンシが発生するという課題を抱えている。特に、コーディングアシスタントや複数のステップを迅速に計画する自律型エージェント、ミリ秒単位の応答が求められるリアルタイムチャットや音声アプリケーションなどでは、この遅延は本番環境へのデプロイにおける最大の障壁となるため、推論速度を根本から引き上げる技術が必要とされていた。
この課題を解決するため、MTPは「Speculative Decoding」(投機的デコーディング)と呼ばれる仕組みを採用している。これは、モデルが1つずつ自己回帰的にトークンを生成する従来のプロセスとは異なり、大規模なターゲットモデル(Gemma 4の31Bなど)と、軽量で高速なドラフトモデルを組み合わせて推論を並行化するアプローチだ。アイドル状態の計算リソースを活用してドラフトモデルが複数の未来のトークンを先行して予測し、それをターゲットモデルが一括して検証する。ターゲットモデルが予測を承認すれば、1度のフォワードパスでシーケンス全体を受け入れ、さらに独自のトークンを1つ追加して出力するため、生成品質や推論ロジックを一切損なうことなく処理を大幅に高速化できる。
このドラフトモデルはターゲットモデルのアクティベーションを活用し、KVキャッシュを共有することで効率を高めている。さらに、小型モデル向けには語彙全体での計算を省くためのクラスタリング手法が組み込まれているほか、26Bの混合エキスパート(MoE)モデルでは、バッチサイズを4から8程度に増やして並列処理することでエキスパートの重みの再利用効率が高まり、ローカル環境で最大約2.2倍の速度向上が得られる仕組みとなっている。
MTPドラフターはGemma 4本体と同じApache 2.0ライセンスの下で公開されており、エッジデバイスから開発者のローカルワークステーション、クラウド環境まで、あらゆる場所で動作するように設計されている。Hugging Face Transformers、MLX、vLLM、SGLang、Ollama、LiteRT-LMなどの主要な推論フレームワークに対応しており、コンシューマー向けGPUやApple Siliconを搭載したPC上で複雑なオフラインワークフローを高速に実行できる。
「Google AI Edge Gallery」を通じてAndroidやiOSのモバイルデバイス上でも直接実行でき、特にエッジモデル(E2B、E4B)では推論が迅速に完了することでデバイスのバッテリー消費を抑える効果も期待できるとしている。
Copyright © ITmedia, Inc. All Rights Reserved.
関連記事
こんなメディアも見られています
ITmedia AI+に関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
アクセスランキング
-
1
京大がAI依存チェックリスト公開 「当てはまるものあれば、しばらくAI触らないで」
-
2
ChatGPT「Plus」プラン一部ユーザーに「dots」解禁 「Business Standard」全ユーザーにも
-
3
さよなら「Claude Code」 人気AIに愛想を尽かしたエンジニアの意外な移行先:906th Lap
-
4
Antigravityを他社AIから操作すると「垢BAN」? 注意点をGoogle Cloud日本法人に聞いた
-
5
「Muse」専用メアド、無料で作成可能に AIが送受信を代理
-
6
農水省の“クソダサ”ポスター話題 「AIよりよっぽど良い」の声も 担当者に狙いを聞いた
-
7
Mac版「Gemini」にユーザーの代わりにアプリを操作する「computer use」機能追加 まず米国で
-
8
「オントロジー」とは結局何なのか Palantir、Databricks、Snowflake、NVIDIAで中身が違う理由
-
9
NotionのAIチャット流出おそれ、幹部が日本での対応状況明かす 「心よりおわび」
-
10
「おもてなし以外」はAIで――多忙化する美容部員、資生堂はGeminiでどう変えたか
SpecialPR
ITmedia AI+ SNS
インフォメーション
注目情報をチェック
ITmedia AI+をフォロー
あなたにおすすめの記事PR