Innovative Tech（AI+）

AIの大規模化→“人間には簡単な質問”への間違えが増加　スペインの研究者らが発表

　スペインのバレンシア工科大学に所属する研究者らが発表した論文「Larger and more instructable language models become less reliable」は、大規模言語モデル（LLM）の規模を拡大し、より指示に従う能力を高めるほど、AIモデルの信頼性が低下する可能性があることが明らかになった研究報告である。

　AI開発者は通常、LLMの性能を向上させるために2つの主要な方法を用いる。1つは「スケールアップ」と呼ばれ、より多くのトレーニングデータと計算能力を投入すること。もう1つは「シェイプアップ」と呼ばれ、人間のフィードバックに基づいてモデルを微調整することである。

　この研究では、米OpenAIの「GPT」、米Metaの「LLaMA」、国際研究プロジェクトのBigScienceによる「BLOOM」という3つの主要なLLMファミリーを詳細に分析した。研究チームは、単純な足し算から語彙（ごい）の並べ替え、地理的知識や科学的質問、情報変換といった5つの異なるベンチマークを用いて、これらのモデルの性能を多角的に評価した。

　分析の結果、スケールアップとシェイプアップにより、複雑な問題への対応能力は向上したが、基本的な問題に対する正確性は向上しないことが判明した。具体的には、人間にとって比較的簡単な課題でも誤りを犯すようになり、回答を控えるべき場合でも、もっともらしいが間違った回答をする傾向が強まった。

　これは、モデルが「知らない」ことを認めるよりも、常に回答しようとする姿勢が強くなったためと考えられる。

　また、プロンプトの微妙な変化に対するモデルの安定性は向上したものの、難易度に関係なく不安定な領域が依然として残っていることも分かった。これは、同じ質問でもわずかな言い回しの違いで異なる回答が得られる可能性があることを意味し、LLMの実用化に向けて重要な課題となっている。

Source and Image Credits: Zhou, L., Schellaert, W., Martinez-Plumed, F. et al. Larger and more instructable language models become less reliable. Nature（2024）. https://doi.org/10.1038/s41586-024-07930-y

Innovative Tech（AI+）

2019年の開始以来、多様な最新論文を取り上げている連載「Innovative Tech」。ここではその“AI編”として、人工知能に特化し、世界中の興味深い論文を独自視点で厳選、解説する。執筆は研究論文メディア「Seamless」（シームレス）を主宰し、日課として数多くの論文に目を通す山下氏が担当。イラストや漫画は、同メディア所属のアーティスト・おね氏が手掛けている。

この連載の記事をもっと見る

この記事の著者

関連記事

• 

  「砂漠の下を通る約3000年前の古代地下水路」を“冷戦時代のスパイ衛星”とAIで大量に発見

• 

  「時間の矢」が生成AIにも含まれていた？　“未来から過去を予測”する逆の訓練をLLMで実施　海外チームが検証

• 

  「Apple Vision Pro」のキー入力を盗む攻撃　ビデオ会議やライブ配信中の“アバターの視線”からAIで機密データ復元

• 

  なぜAIに“日本語”を学習させるのか？　35種類のLLMで実験し分析　東工大などが研究報告

• 

  生成AIに「夢」を見せる→“過学習”を防ぐ　「人間が夢（合成データ）を見る理由も同じか？」　米研究者が21年に提唱