インストラクションデータを手作業で作る時代は終わった コスト削減につながる自動化法を解説：AIビジネスのプロ 三澤博士がチェック 今週の注目論文

LLMの「忠実さ」を向上させるための学習で使う「インストラクションデータ」はこれまで人力で作られてきたが、この作業を自動生成するアルゴリズム「Evol-Instruct」が注目を集めている。ビジネス視点からメリットを解説します。

[三澤瑠花，ITmedia]

この連載について

AIやデータ分析の分野では、毎日のように新しい技術やサービスが登場している。その中にはビジネスに役立つものも、根底をひっくり返すほどのものも存在する。本連載では、ITサービス企業・日本TCSの「AIラボ」で所長を務める三澤瑠花氏が、データ分析や生成AIの分野で注目されている最新論文や企業発表をビジネス視点から紹介する。

　大規模言語モデル（LLM）の「忠実さ」を向上させるために、AIを用いて多様で複雑なインストラクションデータを自動生成するアルゴリズム「Evol-Instruct」（エボルインストラクト）が注目を集めています。2023年に発表された論文ですが、2024年5月の1カ月だけでも本論文を参考文献として取り上げた25本の論文（プレプリントを含む）が世界中の研究者によって新たに投稿されたことからも、注目の高さがうかがえます。

　Evol-Instructは、人手を介さずに高品質なインストラクションデータを効率的に生成することでLLMの高度化に貢献します。本稿では、Evol-Instructの仕組みと意義について解説します。

LLMの命令に従う能力の向上が課題に

　LLMは大量のテキストデータから言語の特徴を学習することで、自然言語処理のタスクで高い性能を発揮します。しかし、実際のアプリケーションへの適用においては、ユーザーから与えられる多様な命令（インストラクション）に正しく従うことが求められます。この命令に従う能力を高めるために、インストラクションデータを用いたLLMの学習（ファインチューニング）が盛んに行われています。

　インストラクションデータは人手で作成されてきました。初期の研究では、機械翻訳や文書要約など特定のタスクに特化した「クローズドドメイン」のインストラクションデータが使われていました。しかし、クローズドドメインのインストラクションデータは多様性に乏しく、実際のユーザーからの指示への対応が難しいという問題がありました。

　その後、OpenAIが人手で作成した多様な「オープンドメイン」のインストラクションデータを用いることで、GPT-3などの高性能モデルが開発されました。しかし、高品質なインストラクションデータを人手で大量に作成するのはコストと手間がかかるため、よりスケーラブルなデータ生成手法が求められていました。

　Evol-Instructではこれをどのようにして解決したのでしょうか。

Evol-Instructによるインストラクションデータの自動生成

　Evol-Instructは、AIを活用してインストラクションデータを自動生成する進化的アルゴリズムです。既存のインストラクションデータを入力として、LLMが新たな命令を生成します。この際、命令をより複雑にする「深化」（In-depth Evolving）と、話題や要求スキルを多様化する「拡張」（In-breadth Evolving）の2種類の進化操作が行われます。

　深化操作には、制約の追加や具体化、推論ステップの増加、入力の複雑化など、命令の難易度を高めるためのさまざまな手法が含まれています。一方、拡張操作では、与えられた命令を基に全く新しい命令を生成することで、命令の多様性を高めます。

　生成された命令にLLMが応答した後、深化した命令が適切かどうかをLLMで判定し、不適切なものを除外します。この進化のプロセスを複数回繰り返すことで、徐々に複雑性や多様性が高いインストラクションデータが生成されていきます。

　Microsoftと北京大学の研究者らは、Evol-Instructで生成されたインストラクションデータを使って、MetaのLLaMA 7Bモデルをインストラクションチューニングしました。結果、LLaMA 7Bモデルは高性能化を達成でき、Evol-Instructが生成したインストラクションデータが、LLMの命令に従う能力の向上に効果的であることが明らかになりました。

　これはAIによる自動生成手法を用いることでLLMの性能を引き出すための高品質なデータを効率的に用意できることを示しています。

　Evol-Instructは、人手を介さずに大規模かつ高品質なインストラクションデータを自動生成できる点で大きな意義があります。特に、人間には作成が難しい複雑な命令も生成できるため、LLMの高度化に必要不可欠なデータを効率的に用意できます。

三澤の“目”

　ビジネスの観点からは、Evol-Instructによって生成されたインストラクションデータを用いることで、特定の業務に特化した高性能なLLMを低コストで開発できる可能性があることが価値です。異なる分野のモデルを融合させることでこれまでにない新しい価値を持つ製品やサービスの創出にもつながるでしょう。

　AI活用を検討する企業には、Evol-Instructに代表されるインストラクションデータの自動生成技術について理解を深めることをおすすめします。これらの技術は、AIをビジネスに生かしていくための重要な一歩となるはずです。

　以下はEvol-Instructの動作例を示した図です。この図では、初期の簡単な命令（「1+1=?」）から始まり、深化と拡張の2種類の進化操作を適用することで、徐々により複雑で多様な命令が生成されていく様子が描かれています。

この図はEvol-Instructのコアとなるアイデアを視覚的に表現しています。この図には数式やコードも含まれており、Evol-Instructが生成する命令データが実際のアプリケーションで役立つ可能性が高いことを示唆しています。（参考文献の図1より）

参考文献

WizardLM: Empowering Large Language Models to Follow Complex Instructions（WizardLM:大規模言語モデルが複雑な命令に従う能力を付与）

著者紹介　三澤瑠花（日本タタ・コンサルタンシー・サービシズ）

AIセンターオブエクセレンス本部　AIラボ ヘッド

日本女子大学卒業、東京学芸大学大学院修士課程修了（天文学）　フランス国立科学研究センター・トゥールーズ第3大学大学院　博士課程修了（宇宙物理学）。

2016年入社。「AIラボ」のトップとして、顧客向けにAIモデルの開発や保守、コンサルティングなどを担当している。