Thinking Machines、軽量モデル「Inkling-Small」正式公開 サイズ4分の1で「Inkling」に匹敵する性能
米OpenAIの元CTO、ミラ・ムラティ氏率いる米Thinking Machines Labは7月30日(現地時間)、オープンウェイトのAIモデル「Inkling-Small」を公開した。7月15日に発表した同社初のモデル「Inkling」の4分の1のサイズで、同等の性能を実現したとしている。Apache 2.0ライセンスの下、全ウェイトをHugging Faceで公開した。Inkling発表時にプレビュー版を公開しており、今回が正式版の公開となる。
Inkling-Smallは総パラメータ数2760億、アクティブパラメータ数120億のMoE(Mixture-of-Experts)型Transformerで、米NVIDIAの「GB300 NVL72」システムで学習した。Inklingと同様に音声と画像をネイティブに扱えるマルチモーダルモデルで、最大100万トークンのコンテキストウィンドウと、推論に費やす思考の労力を調整できる仕組みを備える。
ベンチマークでは、テキストのみの「Humanity's Last Exam」で31.6%と、Inklingの29.7%を上回った。「SWE-bench Verified」は80.2%、「Terminal-Bench 2.1」は64.7%で、いずれもInklingを超えている。
同社によると、Inkling-SmallはInklingより後に学習を開始したため学習プロセスを改良でき、事前学習データの配合や機械学習のレシピを変更した。加えて、プレビュー版はInklingを教師とするオンポリシー蒸留などで事後学習しており、そこからエージェント型コーディングの強化学習を2週間かけてスケールさせたという。一方、知識の網羅性と事実性についてはInklingが優位を保つとしている。
自前の環境で動かす際のハードルも下がったとしている。BF16のチェックポイントは合計600GB以上のGPUメモリ(NVIDIA B300×4基、またはH200×8基)、量子化版のNVFP4チェックポイントは同180GB以上(B300×1基、またはH200×2基)で動作する。Inklingはそれぞれ2TB以上、600GB以上を必要としている。
開発者は同社のファインチューニングプラットフォームTinkerでInkling-Smallをカスタマイズできる。InklingとInkling-Smallは期間限定の割引価格で提供する。Webブラウザ上でモデルを試せるTinker Playgroundでは、テキストに加えて画像と音声を使ったチャットも可能だ。
Copyright © ITmedia, Inc. All Rights Reserved.
関連記事
こんなメディアも見られています
ITmedia AI+に関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
アクセスランキング
-
1
今、最も使われているプログラミング言語は? AIコーディングでPython超えて急成長
-
2
「ダウンロードフォルダでAIを使わないで」――セキュリティ企業が注意喚起 エージェントが攻撃者の指示に従いマルウェアインストールの恐れ
-
3
KDDI傘下、社内のAI活用事例113件を無料公開 「Gemini Notebook」で稟議データのチェック支援も
-
4
ChatGPTのPro・Businessプランで「API利用」可能に 月最大500ドル分
-
5
「高度なAIスキル」だけではもう食えない? IT人材が答えた「これからの必須スキル」
-
6
農水省の“クソダサ”ポスター話題 「AIよりよっぽど良い」の声も 担当者に狙いを聞いた
-
7
メアドを検索→AIで“その人専用フィッシングメール”を生成する手法、クリック率が約2.7倍に 7000人以上で実験
-
8
AIが人間に“闇バイト”を発注? AIが物理的労働を買う求人サイト「RentAHuman」の実態
-
9
京都府庁、職員7000人の事務効率化で「Copilotだけに頼らない」と決めた理由
-
10
なぜ、重要システムは“分割”すべきなのか? AI攻撃から守り切れない時代、IT部門が考えるべき「備え」とは
SpecialPR
ITmedia AI+ SNS
インフォメーション
注目情報をチェック
ITmedia AI+をフォロー
あなたにおすすめの記事PR