ITmedia AI＋
生成AI
AIエージェントは「増やせば賢くなる」のか　Metaとハーバード大の研究が示す“分業の条件”

AIエージェントは「増やせば賢くなる」のか　Metaとハーバード大の研究が示す“分業の条件”（4/5 ページ）

公開 2026年10月29日 08時00分

[ITmedia]

印刷する連載新着通知を受け取る Googleで優先するソースとして追加

“4体で8体分”の実力はどこまで本物か

　では、ScaleMASはどれほど有効なのか。先に評価指標を押さえておきたい。論文は4つの課題を使っているが、指標は2種類ある。そのうちの一つが「Pass@N」で、Web調査、数学の定理証明、ソフトウェア修正という3つの既存ベンチマークで報告している。

　Pass@Nは、N体のエージェントが持つ解答候補のうち少なくとも1つが正解なら成功と数える指標だ。なお、これは1回の実行で正解を選んで納品できる割合ではない。提案書の候補を10案作り、その中の1案だけが条件を満たしていたとしても、採用すべき案を選べなければ仕事は終わらない。

　もう一つが、研究者らが新たに作った文書の矛盾検出の課題だ。大量の技術文書に埋め込まれた20組の矛盾のうち、群れで何組を見つけられたかという「検出率」を使う。こちらはエージェント全体の見落としの少なさを測る。以下では、この2つを区別して数字を見ていく。

　論文の実験では、ソフトウェア修正の評価課題「SWE-bench Verified」のテストセット100件を、オープンモデルの「Qwen3.5-9B」で解かせている。4体のScaleMASと8体の独立したエージェントが同じ80.0％のPass@Nを記録し、推論処理に使ったトークン数はそれぞれ1530万と2830万だった。独立型の半分のエージェント数で同じ成績に達し、使用したトークン数も約46％少なかったことになる。

　ここで最も気になるのは、この改善が情報共有の仕組みによるものなのか、という点だろう。研究者らは、4体という数を固定した状態で、共有の仕組みを段階的に取り除く比較実験も行っている。

　SWE-bench Verifiedでは、情報を共有するScaleMASのPass@Nが80.0％だったのに対し、各エージェントが自分の投稿だけを読める構成では71.6％、共有の仕組みを持たない独立型では68.0％にとどまった。標準のScaleMASが最も高い成績を示したことは4課題全てに共通する。

　ただし、自分の投稿だけを読む構成と独立型の優劣は課題によって異なり、矛盾検出では独立型の8.1％が自分の投稿だけを読む構成の6.6％を上回った。その上で論文では、改善分のおおむね半分以上が他のエージェントの投稿を読むことによるもの、と結論付けている。少なくともこの実験条件では、数を増やすことだけでなく、他のエージェントの成果を利用できることが性能改善に寄与していた。

エージェント数を増やす効果には「仕事ごとに天井」

　では、ScaleMASでエージェントの数を増やせば増やすほど良いのか。研究者らは最大128体まで使用した実験を行っている。文書の矛盾を検出する課題では、ScaleMASは数を倍にするたびに検出率が伸び、128体で50.9％に達した。全員が報告を共有する方式と、ブラックボード型は、どの規模でも検出率7％を超えなかった。

　一方、数学の定理証明では、ScaleMASも16体程度までPass@Nを改善できたものの、その後は60％弱で頭打ちになっている。SWE-bench Verifiedでも8体を超えると伸びが止まり、独立型も同じ地点で頭打ちになった。

　研究者らはこれを「LLM自体の能力の限界」と解釈している。情報共有を整えれば必要な推論ができるようになるわけではなく、数を増やす効果には仕事ごとに天井がある。これは、今回の研究が示した重要な発見だといえる。

AI間で生じた「自然な分業」

　もう一つ注目したいのは、担当を割り振らなくても分業が生まれたという分析だ。Web調査の課題で、正解に至ったエージェントの根拠をたどると、自分では開いていない資料を他のエージェントが見つけていた割合は、2体の9％から8体の24％へ増えていた。論文はこれを、誰も仕事を割り当てていないのに、他のエージェントが見つけた証拠を組み合わせて答える分業が自然に生じた結果だと述べている。

　これとは別の分析として、1体当たりの行動回数が群れの拡大とともに減ることも報告している。Web調査では1体の304回から8体の205回へ減り、矛盾検出でも同様に減った。既に公開されている成果を見つけたエージェントが、同じ作業を繰り返さずにそれを土台にできるためだ、というのが論文の解釈である。

　「もろさ」についても数字がある。矛盾検出の課題で、常にエラーを返す故障エージェントを1体加えた実験では、ScaleMASは正常な7体に故障した1体を加えた場合も、正常な7体だけの場合と同じ検出率19.4％だった。ブラックボード型の比較対象は、1体の故障で検出率1％未満まで落ちている。

　加えて、各ステップで一定の確率でエージェントが一時的に離脱し、その後復帰する実験もある。定理証明の課題で、各ステップにおける離脱確率を8割、つまり平均して5ステップのうち4ステップは不在という条件にしても、8体はPass@Nで22.0％の問題を解き、1体の2.0％を大きく上回った。誰かの作業の完了を待つ必要がなく、投稿が本人の離脱後も残る設計が、ここで効果を発揮している。

“引用重視の順位付け”にはリスクも？

　ScaleMASは引用の多さを「質の近似」として使っている。この仕組みは本当に有効なのか。研究者らは、検索順位から引用の重みを外し、文章の関連性だけで順位付けした場合と比較している。

　8体の条件で、Web調査の課題ではPass@Nが60.0％から40.8％へ、矛盾検出の課題では検出率が23.1％から9.7％へ下がった。定理証明では4体までほぼ差がなかったが、8体でPass@Nが49.0％対42.0％と差が開き、重みなしの方が読んだトークン数も2倍だった。順位をランダムにした場合は、関連性だけの場合と変わらなかった。引用の重みが、群れが大きくなるほど効く選別装置になっていることが分かる。

　別の分析では、Web調査で正解の根拠の連鎖に含まれていた投稿の割合が、引用の少ない下位2割では29％、引用の多い上位2割では85％だったという。

　ただし、ここで1つ注意が必要だ。論文で検証されたのは、引用の多い投稿が実験課題で有用だったかどうかであり、引用の多さが情報の正しさを保証することではない。あるエージェントが料金の適用条件を読み違え、それを別のエージェントが費用計算に使い、さらに別のエージェントが提案書へ載せたとする。複数のAIが同じ数字を採用していても、独立した複数の確認を通ったことにはならない。

　むしろ引用が重みになる仕組みでは、1つの読み違いが引用されるほど検索上位に押し上げられる可能性がある。論文の仕組みでは、投稿に参照先を付けるかどうかは任意だが、付けた参照は必ず理由とともに記録され、根拠の連鎖をたどれるようになっている。読み手が「その主張は何に基づくのか」を確かめられるようにするためだ。しかし、参照を付けるかどうかは書き手次第であり、確かめるかどうかは読み手次第である。

次ページへ企業が決めておくべき「3つのこと」