NTT、再学習なしで特化型AIの基盤モデルを乗り換え可能に “カスタマイズ”引き継ぐ新技術
NTTは7月9日、AIモデルをカスタマイズした結果を、異なるサイズ・構造の基盤モデルに引き継げる「ポータブルチューニング」技術を確立したと発表した。AIモデルの学習に、基盤モデルとは独立して出力結果を調整する「報酬モデル」を導入。特定のタスクに特化したAIの基盤モデルを変更する際、再度学習をせずに済むため、運用コストの削減につながるという。
組織に生成AIを導入する場合、その組織特有のタスクに対応するため、個別のデータセットによる学習で、基盤モデルの出力を調整した「特化モデル」を活用するケースも少なくない。一方、基盤モデルは定期的に情報などが最新化される。そのため特化モデルを長期間運用するには、基盤モデルを変更するたびに出力を再度調整する必要があり、コスト面に課題があった。
そこでNTTは、ポータブルチューニングにおいて、基盤モデルの出力をタスクごとに補正する報酬モデルを導入した。従来の学習では、基盤モデルのパラメータを直接最適化していたところ、報酬モデルを基盤モデルから独立したモデルとして調整。特化モデルの基盤モデルを変更する際、追加学習せずに報酬モデルを再利用することで、基盤モデルの出力を直に再調整した場合と同程度の性能を達成したという。
加えて報酬モデルは、基盤モデルの構造には依存しないため、変更の前後で基盤モデルの構造が異なっていても適用可能。初回の学習時にのみ、報酬モデルを調整するためのコストが余分に生じるものの、その後は基盤モデルを何度更新しても再学習が不要なため、学習コストを一定に保ち、コストの削減に役立つという。
なお、ポータブルチューニングは、NTTが2024年5月に発表した「学習転移」技術をベースに開発した。学習転移では、異なる基盤モデルにおけるニューラルネットワークの対称性に着目し、特化モデルにおける基盤モデルの変更コストを削減。一方、実用レベルに達するには追加学習が必要であり、変更前と後の基盤モデルの構造が異なると適応できないという課題があったことから、今回の技術開発に至った。
今回の成果は、25年7月13日から19日に開催される機械学習分野の国際会議「ICML 2025」(International Conference on Machine Learning)にて発表予定。
Copyright © ITmedia, Inc. All Rights Reserved.
関連記事
こんなメディアも見られています
ITmedia AI+に関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
アクセスランキング
-
1
「オントロジー」とは結局何なのか Palantir、Databricks、Snowflake、NVIDIAで中身が違う理由
-
2
なぜ中国はヒューマノイドを量産するのか 突き動かす「焦り」と足踏みの正体
-
3
孫正義氏が明かす、アンソロピック出資見送りの舞台裏 「僕の失敗」「あん時入れときゃよかった」
-
4
ChatGPT「Plus」プラン一部ユーザーに「dots」解禁 「Business Standard」全ユーザーにも
-
5
孫正義氏が「墓石に刻んでほしい」と明かした言葉 流した涙、もう「時間との勝負」やり残したことは?
-
6
伊藤忠が月1.3万時間削減、数千件の「二重業務」解消へ AI推進で経営陣を動かした「定量の匂い」とは?
-
7
日立が「フィジカルAI」で狙う“5年で事業規模2倍”の勝算 3.5万人の新会社トップが語る「戦略の2本柱」とは?
-
8
「e-F@ctory」から次の進化へ、三菱電機が描くAI主体の自律型工場
-
9
コマツ油機開発センタが挑む設計プロセス改革、ナレッジ検索/整備に生成AI活用
-
10
京大がAI依存チェックリスト公開 「当てはまるものあれば、しばらくAI触らないで」
SpecialPR
ITmedia AI+ SNS
インフォメーション
注目情報をチェック
ITmedia AI+をフォロー
あなたにおすすめの記事PR