Innovative Tech(AI+)
LLMが別のLLMを何度も改善 より良い回答を出す最適化手法をAIが発見する技術 Sakana AIなどが開発
Innovative Tech(AI+):
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」(シームレス)を主宰する山下裕毅氏が執筆。新規性の高いAI分野の科学論文を山下氏がピックアップし、解説する。
X: @shiropen2
AIベンチャーのSakana AI(東京都港区)やFLAIR、英ケンブリッジ大学、オックスフォード大学に所属する研究者らが発表した論文「Discovering Preference Optimization Algorithms with and for Large Language Models」は、人間の介入を最小限に抑えて新しい最適化アルゴリズムをAIによって発見する手法を提案した研究報告である。
この手法では大規模言語モデル(LLM)がLLMを利用して自己改善し進化していくことを提案しており、研究者らは「LLM^2」(「LLMの2乗」)と表現している。
LLMには、生成するテキストに偏見や差別的表現、有害な内容が含まれることがあり、出力の品質や安全性の面で課題がある。これを解決するために、人間の選好に基づいてLLMの出力を最適化する「選好最適化」(Preference optimization)という手法が注目されている。
選好最適化の一般的なアプローチは、人間が手動で設計した損失関数を用いて、LLMをファインチューニングすることである。損失関数は、モデルの出力と理想的な出力との乖離(かいり)を数値化したもので、これを最小化するようにモデルのパラメータを更新する。しかし、最適な損失関数の設計は容易ではない。なぜなら、考えられる損失関数の組み合わせは膨大で、人間の創造性では限界があるからである。
この研究では、この問題に対処するために、LLMを活用して自動的に高性能な損失関数を発見する方法を提案した。提案手法では、LLM(ここではGPT-4を使用)に対して反復的にプロンプトを与え、新しい損失関数を生成させる。
プロンプトには、これまでに評価された損失関数の情報やその性能指標が含まれる。生成した損失関数は、実際にLLMの学習に適用され、その性能を評価。この評価結果がフィードバックとしてLLMに与えられ、LLMは徐々により良い損失関数を生成するようになる。このプロセスにより、これまで未知であったが高性能な選好最適化アルゴリズムを発見できる。
この自動発見プロセスを約100回試したところ、研究では「DiscoPOP」と名付けられた新しい選好最適化アルゴリズムを発見した。DiscoPOPの特徴は、ロジスティック損失と指数損失という2つの損失関数を適応的に組み合わせているところだ。
DiscoPOPは、MT-Benchと呼ばれる多様な対話タスクからなるベンチマークにおいて、既存の手法を上回る性能を示した。さらに、要約や感情制御など、未知のタスクに対しても優れた性能を発揮した。
研究チームは、DiscoPOPなどをオープンソース化(GitHubリポジトリ)している。
Source and Image Credits: Chris Lu, Samuel Holt, Claudio Fanconi, Alex J. Chan, Jakob Foerster, Mihaela van der Schaar, Robert Tjarko Lange. Discovering Preference Optimization Algorithms with and for Large Language Models
Copyright © ITmedia, Inc. All Rights Reserved.
Innovative Tech(AI+)
2019年の開始以来、多様な最新論文を取り上げている連載「Innovative Tech」。ここではその“AI編”として、人工知能に特化し、世界中の興味深い論文を独自視点で厳選、解説する。執筆は研究論文メディア「Seamless」(シームレス)を主宰し、日課として数多くの論文に目を通す山下氏が担当。イラストや漫画は、同メディア所属のアーティスト・おね氏が手掛けている。
この記事の著者
関連記事
こんなメディアも見られています
ITmedia AI+に関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
アクセスランキング
-
1
総務省が新しい無料オンライン講座「統計解析プログラミング」を1月に開講 Pythonでのデータ分析が4週間で学べる
-
2
AIモデリングもできる無償3D CAD「SolidCraft」を試してみた!
-
3
メルカリ、アプリ開発「2日→数十分」へ 直面したAI時代の“意外な課題”とは?
-
4
ガートナーが考えるフィジカルAI実装のロードマップと人の役割
-
5
アクセンチュアが説く「業務そのものの創り直し」とは? AI活用が事業成果に結びつかない企業に向けた2つのポイント
-
6
AIに打ち明けた相談は“広告トラッカー”に筒抜け? ChatGPT、Claude、Gemini含む42サービスを米大が調査
-
7
NTTが宇宙光通信網の構築へ 「IOWN搭載」衛星と宇宙データセンターで米中に挑む
-
8
AIが設計データの分析からCAD操作まで支援する「SOLIDWORKS 2027」
-
9
大手自動車メーカーの検図工数を90%削減 AIが図面の重要な変更点を判別
-
10
「回答するAI」から「現実の課題を解決するAI」へ、ダッソーが掲げる産業AI戦略
SpecialPR
ITmedia AI+ SNS
インフォメーション
注目情報をチェック
ITmedia AI+をフォロー
あなたにおすすめの記事PR