Thinking Machines、軽量モデル「Inkling-Small」正式公開 サイズ4分の1で「Inkling」に匹敵する性能

 米OpenAIの元CTO、ミラ・ムラティ氏率いる米Thinking Machines Labは7月30日(現地時間)、オープンウェイトのAIモデル「Inkling-Small」を公開した。7月15日に発表した同社初のモデル「Inkling」の4分の1のサイズで、同等の性能を実現したとしている。Apache 2.0ライセンスの下、全ウェイトをHugging Faceで公開した。Inkling発表時にプレビュー版を公開しており、今回が正式版の公開となる。

(画像:Thinking Machines Lab)

 Inkling-Smallは総パラメータ数2760億、アクティブパラメータ数120億のMoE(Mixture-of-Experts)型Transformerで、米NVIDIAの「GB300 NVL72」システムで学習した。Inklingと同様に音声と画像をネイティブに扱えるマルチモーダルモデルで、最大100万トークンのコンテキストウィンドウと、推論に費やす思考の労力を調整できる仕組みを備える。

 ベンチマークでは、テキストのみの「Humanity's Last Exam」で31.6%と、Inklingの29.7%を上回った。「SWE-bench Verified」は80.2%、「Terminal-Bench 2.1」は64.7%で、いずれもInklingを超えている。

ベンチマーク結果(画像:Thinking Machines Lab)

 同社によると、Inkling-SmallはInklingより後に学習を開始したため学習プロセスを改良でき、事前学習データの配合や機械学習のレシピを変更した。加えて、プレビュー版はInklingを教師とするオンポリシー蒸留などで事後学習しており、そこからエージェント型コーディングの強化学習を2週間かけてスケールさせたという。一方、知識の網羅性と事実性についてはInklingが優位を保つとしている。

 自前の環境で動かす際のハードルも下がったとしている。BF16のチェックポイントは合計600GB以上のGPUメモリ(NVIDIA B300×4基、またはH200×8基)、量子化版のNVFP4チェックポイントは同180GB以上(B300×1基、またはH200×2基)で動作する。Inklingはそれぞれ2TB以上、600GB以上を必要としている。

 開発者は同社のファインチューニングプラットフォームTinkerでInkling-Smallをカスタマイズできる。InklingとInkling-Smallは期間限定の割引価格で提供する。Webブラウザ上でモデルを試せるTinker Playgroundでは、テキストに加えて画像と音声を使ったチャットも可能だ。

印刷する
SNSでシェア
SpecialPR

関連記事

こんなメディアも見られています

ITmedia AI+に関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。

メールマガジンを配信中
メールマガジンを配信中

国内外の業界動向、AIやクラウドなどの最新技術、キャリア情報など今知りたい情報をまとめてお届けします。

いますぐご登録

よく見られているカテゴリー

アクセスランキング

  1. 1
  2. 2
  3. 3
  4. 4
  5. 5
  6. 6
  7. 7
  8. 8
  9. 9
  10. 10

SpecialPR

ITmedia AI+ SNS

X @itm_aiplusをフォロー

インフォメーション

ITmedia AI+をフォロー

あなたにおすすめの記事PR