Sakana AI、AIの“多様性”を尊重した集団を開発する手法「CycleQD」発表 生物の“すみ分け”がヒント：Innovative Tech（AI+）

[山下裕毅，ITmedia]

Innovative Tech（AI+）：

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高いAI分野の科学論文を山下氏がピックアップし、解説する。

X： ＠shiropen2

　AIベンチャー「Sakana AI」が発表した論文「Agent Skill Acquisition for Large Language Models via CycleQD」は、自然界の生物の「すみ分け」の仕組みをヒントに、小規模なAIモデル（AIエージェント）を複数育て上げ、それぞれが得意分野を持ちながら協力し合える新しい開発手法を提案した研究報告である。

CycleQDは、多様性を重視し、複数のスキルをバランスよく習得できる言語モデルのエージェント集団を生成する技術

　大規模言語モデル（LLM）に特定のスキルを習得させる訓練には、依然として大きな課題が存在している。特に問題となっているのは、異なるスキルを学習させるためのデータの比率調整と、タスク固有の性能を適切に反映できない目的関数の設計である。

　これらの課題を解決するため、研究チームは「CycleQD」という手法を開発した。この研究は、生態学における「ニッチ」（生態的地位）の概念をAI開発に応用するアプローチを提案している。

　生態学では、ニッチとは生物種が持つ固有の能力や特性によって決定されるもので、その環境との関係を指す。これには、捕食する餌や占有する生活空間など、種の生存を可能にする特定のスキルや能力が含まれる。一度ニッチが占有されると、他の種がその既存の種を置き換えることは困難となる。

　この生態学的なニッチの概念をAIエージェントに適用すると、各エージェントのニッチはその能力、実行可能なタスク、使用するリソースによって定義できる。十分に進化したエージェントは特定のニッチを効果的に占有し、他のエージェントとの競争に対して耐性を持つようになる。このアプローチにより、それぞれが特定の能力を持ち、互いに補完し合いながら全体として進化していくAIエージェントの集団を生み出すことが可能となる。

　CycleQDフレームワークは、この考えを実践に移すものである。CycleQDの核となる特徴は、Quality Diversity（QD）フレームワークを周期的に適用する点にある。QDは単一の最適解を追求するのではなく、それぞれが独自の方法で優れた多様な解を発見することに焦点を当てる。

教育現場におけるCycleQDの適用イメージ

　この周期的なアプローチにより、データの比率調整が不要となり、目的関数の設計も大幅に簡素化される。さらに、モデルマージによるクロスオーバーと特異値分解（SVD）ベースの突然変異を組み合わせることで、より効果的な学習を実現している。

　初期集団には特定のタスクに特化した専門家モデルを配置し、そこから一般的な言語能力を保持しながら、エージェントタスクで高い性能を発揮する多様な小規模モデルの集団を進化させていく。

　実験では、LLM「Llama3-8B-Instructモデル」を使用し、コーディング（MBPP）、データベース操作、オペレーティングシステム操作という3つのコンピュータサイエンスタスクに対してCycleQDを適用。各モデルは8Bパラメータという比較的小規模なサイズながら、従来の微調整やモデルマージングアプローチを上回る性能を示し、より多くのパラメータを持つとされる「GPT-3.5-Turbo」と同等の性能を達成した。

コンピュータサイエンスのタスクから得られたCycleQDデータ

　Sakana AIは、CycleQDの技術についてブログでは「知識やスキルを忘却せず蓄積していく『生涯学習』の実現への第一歩」と述べている。

Source and Image Credits: Kuroki, So, et al. “Agent Skill Acquisition for Large Language Models via CycleQD.” arXiv preprint arXiv:2410.14735（2024）.