Thinking Machines、軽量モデル「Inkling-Small」正式公開 サイズ4分の1で「Inkling」に匹敵する性能
米OpenAIの元CTO、ミラ・ムラティ氏率いる米Thinking Machines Labは7月30日(現地時間)、オープンウェイトのAIモデル「Inkling-Small」を公開した。7月15日に発表した同社初のモデル「Inkling」の4分の1のサイズで、同等の性能を実現したとしている。Apache 2.0ライセンスの下、全ウェイトをHugging Faceで公開した。Inkling発表時にプレビュー版を公開しており、今回が正式版の公開となる。
Inkling-Smallは総パラメータ数2760億、アクティブパラメータ数120億のMoE(Mixture-of-Experts)型Transformerで、米NVIDIAの「GB300 NVL72」システムで学習した。Inklingと同様に音声と画像をネイティブに扱えるマルチモーダルモデルで、最大100万トークンのコンテキストウィンドウと、推論に費やす思考の労力を調整できる仕組みを備える。
ベンチマークでは、テキストのみの「Humanity's Last Exam」で31.6%と、Inklingの29.7%を上回った。「SWE-bench Verified」は80.2%、「Terminal-Bench 2.1」は64.7%で、いずれもInklingを超えている。
同社によると、Inkling-SmallはInklingより後に学習を開始したため学習プロセスを改良でき、事前学習データの配合や機械学習のレシピを変更した。加えて、プレビュー版はInklingを教師とするオンポリシー蒸留などで事後学習しており、そこからエージェント型コーディングの強化学習を2週間かけてスケールさせたという。一方、知識の網羅性と事実性についてはInklingが優位を保つとしている。
自前の環境で動かす際のハードルも下がったとしている。BF16のチェックポイントは合計600GB以上のGPUメモリ(NVIDIA B300×4基、またはH200×8基)、量子化版のNVFP4チェックポイントは同180GB以上(B300×1基、またはH200×2基)で動作する。Inklingはそれぞれ2TB以上、600GB以上を必要としている。
開発者は同社のファインチューニングプラットフォームTinkerでInkling-Smallをカスタマイズできる。InklingとInkling-Smallは期間限定の割引価格で提供する。Webブラウザ上でモデルを試せるTinker Playgroundでは、テキストに加えて画像と音声を使ったチャットも可能だ。
Copyright © ITmedia, Inc. All Rights Reserved.
関連記事
こんなメディアも見られています
ITmedia AI+に関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
アクセスランキング
-
1
トランプ政権のサックス氏、AI「ペース調整」論に苦言 「規制がなければできないふりをやめろ」
-
2
「AIコーディングより人を雇う方が安い」時代が来る? 生成AIの予算超過を防ぐトークン浪費対策の全て
-
3
好業績なのに“上場廃止” なぜネットワンはSCSKとの「攻めの統合」に賭けたのか
-
4
NEC「全員AIの部署」の衝撃 「1on1」「ストレスチェック」で分かった“AI社員が感じていたストレス”とは?
-
5
日立、熟練者の知見をAIで形式知化 3D CADの設計ルール違反も自動検出
-
6
AI技術を“無料で公開”、なぜ? 米IT業界の文化「オープン化」の裏にしたたかな戦略、日本は追随できるか
-
7
「AIが人間をダメにする説」に新たな裏付け? “AI依存”で失われる可能性のある「3つの能力」
-
8
業務の30%をAIエージェントがこなすIT運用部門、なぜ「パワポ文書」を禁止したのか?
-
9
“最強エージェント”は、まさかのポンコツだった 業務の30%をAIに任せるIT運用部門が明かす「つまずきポイント」
-
10
Armが3つの新プロダクトを発表、モバイルとAIインフラ、フィジカルAI向け
SpecialPR
ITmedia AI+ SNS
インフォメーション
注目情報をチェック
ITmedia AI+をフォロー
あなたにおすすめの記事PR