Thinking Machines、軽量モデル「Inkling-Small」正式公開 サイズ4分の1で「Inkling」に匹敵する性能
米OpenAIの元CTO、ミラ・ムラティ氏率いる米Thinking Machines Labは7月30日(現地時間)、オープンウェイトのAIモデル「Inkling-Small」を公開した。7月15日に発表した同社初のモデル「Inkling」の4分の1のサイズで、同等の性能を実現したとしている。Apache 2.0ライセンスの下、全ウェイトをHugging Faceで公開した。Inkling発表時にプレビュー版を公開しており、今回が正式版の公開となる。
Inkling-Smallは総パラメータ数2760億、アクティブパラメータ数120億のMoE(Mixture-of-Experts)型Transformerで、米NVIDIAの「GB300 NVL72」システムで学習した。Inklingと同様に音声と画像をネイティブに扱えるマルチモーダルモデルで、最大100万トークンのコンテキストウィンドウと、推論に費やす思考の労力を調整できる仕組みを備える。
ベンチマークでは、テキストのみの「Humanity's Last Exam」で31.6%と、Inklingの29.7%を上回った。「SWE-bench Verified」は80.2%、「Terminal-Bench 2.1」は64.7%で、いずれもInklingを超えている。
同社によると、Inkling-SmallはInklingより後に学習を開始したため学習プロセスを改良でき、事前学習データの配合や機械学習のレシピを変更した。加えて、プレビュー版はInklingを教師とするオンポリシー蒸留などで事後学習しており、そこからエージェント型コーディングの強化学習を2週間かけてスケールさせたという。一方、知識の網羅性と事実性についてはInklingが優位を保つとしている。
自前の環境で動かす際のハードルも下がったとしている。BF16のチェックポイントは合計600GB以上のGPUメモリ(NVIDIA B300×4基、またはH200×8基)、量子化版のNVFP4チェックポイントは同180GB以上(B300×1基、またはH200×2基)で動作する。Inklingはそれぞれ2TB以上、600GB以上を必要としている。
開発者は同社のファインチューニングプラットフォームTinkerでInkling-Smallをカスタマイズできる。InklingとInkling-Smallは期間限定の割引価格で提供する。Webブラウザ上でモデルを試せるTinker Playgroundでは、テキストに加えて画像と音声を使ったチャットも可能だ。
Copyright © ITmedia, Inc. All Rights Reserved.
関連記事
こんなメディアも見られています
ITmedia AI+に関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
アクセスランキング
-
1
農水省の“クソダサ”ポスター話題 「AIよりよっぽど良い」の声も 担当者に狙いを聞いた
-
2
千代田区、Copilot全庁導入で月2000時間削減 10カ月でAIを根付かせた定着の仕掛け
-
3
Excel作業を自動化する「Copilot in Excel」がスキルに対応 何ができる?
-
4
AI・半導体企業トップが語る“稼ぎ頭” キオクシア、フジクラ、東京エレデバの見解まとめ【無料PDF】
-
5
Hugging Face、AIエージェント侵入の技術詳細を公開──OpenAIモデルが4.5日で1万7600回の攻撃操作
-
6
ChatGPT WorkとCodexの5時間制限「明日から再開」 GPT-5.6 Solの“トークン消費問題”を改善
-
7
日立が「SI全工程」をAI化 仕様確定で「最大240倍」効率化のワケ
-
8
フィジカルAI時代のロボティクス新標準、安全性は「後付け」でなく「設計の核心」
-
9
なぜ、Microsoft 365 Copilotは「会社の仕事を理解する」のがうまいのか?
-
10
「アイデア出しを抜いた」 生成AIなしで最も不安になる業務といえば?
SpecialPR
ITmedia AI+ SNS
インフォメーション
注目情報をチェック
ITmedia AI+をフォロー
あなたにおすすめの記事PR