Intelの最新AIアクセラレーター「Intel Gaudi 3」は2024年第3四半期から本格出荷 一部OEMには先行出荷

[井上翔，ITmedia]

　Intelは4月9日（米国太平洋時間）、AIアクセラレーター「Intel Gaudi 3」を発表した。出荷開始スケジュールは以下の通りだ。

• 2024年第2四半期：先行OEMパートナー（※1）向け（先行出荷）
• 2024年第3四半期：OAM（※2）およびユニバーサルベースボード（※3）
• 2024年第4四半期：PCI Expressカード

（※1）Dell Technologies、Hewlett Packard Enterprise（HPE）、Lenovo、SuperMicroの4社
（※2）Open Accelerator Module（参考リンク）
（※3）OAMタイプのモジュールを8基並べたハードウェア

Intel Gaudi 3の概要

Gaudi 3はOAM、ユニバーサルベースボード、PCI Expressカードの3形態で供給される

2024年第4四半期に、Dell Technologies、Hewlett Packard Enterprise（HPE）、Lenovo、SuperMicroの4社からOAM（またはユニバーサルベースボード）を組み込んだシステムが先行出荷される

　Intel Gaudi 3は、深層学習（DL）用AIアクセラレーター「Intel Gaudiシリーズ」の第3世代に当たる。先代の「Intel Gaudi 2」が7nmプロセスで製造されていたのに対して、Gaudi 3は5nmプロセスで製造されている。

　Gaudi 2と比較した場合、Gaudi 3はFP8演算で最大2倍、BF16演算で最大4倍の演算能力を備える他、ネットワーク帯域幅は2倍、メモリ帯域幅は1.5倍と全体的な処理の高速化が図られており、「生成AIに必要な学習プロセスをより高速に処理できる」という。

　この分野ではNVIDIAの「NVIDIA H100」が競合となるが、言語モデルの学習処理では平均40％、推論処理では平均50％高速に行えるという。

前世代との比較

NVIDIA H100と比較しても、平均で40〜50％の高速化を図れるという

言語モデルの学習処理速度の比較（H100を「1」とした場合の相対値）

言語モデルの推論処理速度の比較（H100を「1」とした場合の相対値）

消費電力当たりの推論処理能力（いわゆる「ワッパ」）も、基本的にH100よりも優れているという。ただし、入出力の条件によってはGaudi 3の方が若干苦しい場面もあるようだ

提供形態は3種類

　冒頭で触れたとおり、Gaudi 3はOAM、ユニバーサルベースボード、PCI Expressカードの3形態で提供される。

OAMタイプ

　OAMタイプ（HL-325L）の主なスペックは以下の通りだ。

• ピーク演算能力：1835TFLOPS（FP8演算時）
• HBM2eメモリ：128GB（帯域幅は毎秒3.7TB）
• MMX（Matrix Multiplication Engines）：8基
• NIC（ネットワークインタフェース）：200GbE×24ポート
• 双方向ネットワーク：毎秒1.2TB

OAMタイプ（HL-325L）の主なスペック

ユニバーサルベースボードタイプ

　OAMを8基搭載するユニバーサルベースボードタイプ（HLB-325）の主なスペックは以下の通りで、基本的にはOAM単体の8倍の性能となっている。

• ピーク演算能力：14.6PFLOPS（FP8演算時）
• HBM2eメモリ：約1TB（帯域幅は毎秒29.6TB）
• MMX（Matrix Multiplication Engines）：64基
• NIC（ネットワークインタフェース）：200GbE×192ポート
• 双方向ネットワーク：毎秒9.6TB

ユニバーサルベースボードタイプ（HLB-325）の主なスペック

PCI Expressカードタイプ

　PCI Expressカードタイプ（HL-338）の主なスペックは以下の通りだ。

• ピーク演算能力：1835TFLOPS（FP8演算時）
• HBM2eメモリ：128GB
• MMX（Matrix Multiplication Engines）：8基
• NIC（ネットワークインタフェース）：200GbE×24ポート
• カードサイズ：2スロット厚／10.5インチ長

PCI Expressカードタイプの主なスペック

クラウド経由でGaudiを利用できるようにする取り組みも

　Gaudi 3のリリースに合わせて、Intelは開発者向けクラウドサービス「Intel Developer Cloud」においてGaudi 2ベースのインスタンスを開設した。

　2024年下期をめどにGaudi 3のインスタンスも開設される見通しで、同社は「Gaudi 2ベースでソフトウェアを開発して、シームレスにGaudi 3へと移行しよう」と呼びかけている。

Intel Developer CloudでGaudi 2を利用できるインスタンスを開設し、追ってGaudi 3のインスタンスも用意するという