英語版Wikipedia、新規記事の5％がAI生成 米国の研究者らが調査 AIが生成した記事の特徴とは？：Innovative Tech（AI+）

[山下裕毅，ITmedia]

Innovative Tech（AI+）：

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高いAI分野の科学論文を山下氏がピックアップし、解説する。

X： ＠shiropen2

　米プリンストン大学に所属する研究者らが発表した論文「The Rise of AI-Generated Content in Wikipedia」は、AIが生成した記事がWikipediaに含まれるかを調査した研究報告である。研究チームは、2024年8月に新規作成された英語版Wikipediaの記事2909件を詳しく分析した。

英語版Wikipedia、新規記事の5％はAI生成　米国の研究者らが調査

　調査には、「GPTZero」と呼ばれる商用AIコンテンツ検出ツールと、オープンソースの検出ツール「Binoculars」を使用。分析対象になったのは、英語とフランス語、ドイツ語、イタリア語の記事だ。

　その結果、GPTZeroは156件、Binocularsは96件の記事をAI生成と判定し、そのうち45件は両方のツールで検出できた。これは、新規記事の約5％がAI生成である可能性を示している。この数字は、ChatGPT（GPT3.5）などの大規模言語モデルが一般に普及する前の22年3月以前の記事と比較すると、著しく増加している。

　同様の調査は他の言語でも実施し、ドイツ語3907件、フランス語3138件、イタリア語3003件の記事を分析。これらの言語でもAI生成コンテンツの増加を確認できたが、その割合は英語版より低い傾向にあった。

各言語における、GPTZeroとBinocularsを使用した検出結果

　AI生成と判定された記事には、いくつかの特徴的なパターンが見られた。まず、記事の質を示す重要な指標である引用や他の記事へのリンクが、通常の記事と比べて明らかに少なかった。

　具体的な数字で見ると、英語版の通常の記事では1文当たり約0.97個の脚注があるのに対し、AI生成と判定された記事では0.67個しかなかった。また、1単語当たりの他の記事へのリンク数も、通常の1.77個に対してAI生成記事では0.383個と、大きな差が見られた。

　続いて研究チームは、AI生成と判定された45件の英語記事について詳細な分析を行い、以下のような特徴的なパターンを発見した。

　まず宣伝目的での利用が顕著だった。45件のうち8件が、小規模企業やレストラン、Webサイトなどの組織を宣伝するために作成されていた。これらの記事は、その作成者にとって初めての投稿であることが多く、宣伝対象以外の引用がほとんどなかった。

　例えば、100回も再生されていない個人のYouTube動画をリンクしているワイナリーの記事や、根拠のない「著名人が居住していた」という主張を含む不動産の記事などを確認できた。

　また、政治的な偏向を持つ記事も8件確認できた。特に1人のユーザーは、アルバニアの歴史的出来事に関する5つの記事を作成し、それら全てがAI生成されたと判定された。このユーザーは後に、他のユーザーとの「編集合戦」に関与したとして警告を受け、複数のアカウントを使用した行為により最終的にアクセスを禁止されている。

　機械翻訳の使用も確認できた。3件の記事では、作成者自身が翻訳作業であることを明記していた。これらはポルトガルの歴史やガーナの法的事例に関する記事だった。また、イタリア語版Wikipediaの主要な投稿者の1人は、フランス語版からの翻訳であることを明記した57件の記事を作成していた。

　さらに、特定の分野に詳しいユーザーがAIを執筆補助ツールとして使用しているケースも見られた。これらのユーザーは、ヘビの品種、菌類の種類、インド料理、アメリカンフットボール選手など、特定のカテゴリーで多数の記事を作成していた。また、書籍の章ごとの要約作成にAIを利用しているユーザーも確認できた。

Source and Image Credits: Brooks, Creston, Samuel Eggert, and Denis Peskoff. "The Rise of AI-Generated Content in Wikipedia." arXiv preprint arXiv:2410.08044（2024）.