悪意持つAI集団が“人間のふり”で大量に会話→偽世論で情報操作　次世代プロパガンダの脅威、国際チームが警告

公開 2026年02月04日 12時00分

著者

山下（Seamless）

[ITmedia]

印刷する連載新着通知を受け取る

Innovative Tech（AI+）：

2019年の開始以来、多様な最新論文を取り上げている連載「Innovative Tech」。ここではその“AI編”として、人工知能に特化し、世界中の興味深い論文を独自視点で厳選、解説する。執筆は研究論文メディア「Seamless」（シームレス）を主宰し、日課として数多くの論文に目を通す山下氏が担当。イラストや漫画は、同メディア所属のアーティスト・おね氏が手掛けている。X：＠shiropen2

　ノルウェーのSINTEF、ドイツのマックス・プランク研究所、米イェール大学、米ハーバード大学など世界各国の研究者らがScienceで発表した論文「How malicious AI swarms can threaten democracy」は、自律型AIエージェントにより、情報操作の手法が根本的に変わろうとしている研究報告だ。民主主義にとって深刻な脅威になりうると警告している。

AIたち同士がSNS上でやりとりしているイラスト（絵：おね）

　従来の情報操作は人間が操るbotに依存しており、コストと時間に限界があった。しかし大規模言語モデル（LLM）の登場で状況は一変しつつある。生成AIは人間が書いたものより人間らしいと評価される虚偽情報を低コストで大量生産できるようになったからだ。

　悪意あるAIの群れとは、「それぞれが持続的な人格と記憶を保持しながら、共通目標に向かって協調しながらも内容を変化させ、人間の反応に合わせてリアルタイムで適応し、ほとんど人間の監視なしに複数プラットフォームで活動できるAIエージェントの集団」を指す。従来のbotが同じ内容を繰り返していたのに対し、群れは規模と多様性とリアルタイム適応を兼ね備えている。

　技術的進歩は5つの点で従来の工作より危険だ。

1人の攻撃者が数千体のAIペルソナを操り、それぞれが独自に判断しながら統一された物語を広められる。
SNS上の人間関係を分析し、影響を受けやすいコミュニティーを見つけて入り込める。
人間のように振る舞う能力が高く、従来の検出手法を回避できる。
どんな投稿が効果的かをリアルタイムで学習し、瞬時に改善できる。
24時間体制でコミュニティーに長期間居座り、価値観まで徐々に変えていける。

　民主主義への害は多方面に及ぶ。まず「偽りの合意」を作り出す能力。群れはSNS上の特定のコミュニティーに入り込み、その集団の文化を模倣し、その上で全くのうそや偏った意見を、さも「みんながそう思っている」かのように演出する。人間は周囲の多数派意見に影響されやすいため、AIが作り出した架空の世論を信じ込み、自身の考えを書き換えてしまう危険性がある。

　信頼が崩壊すると人々はプライベートな空間に逃げ込み、公共の議論の場が縮小する。一部の攻撃者はAIだとばれることも歓迎する。ばれること自体が混乱を生むからだ。本物の人間がbotと誤認されることも武器となる。

　さらに深刻なのは「LLMグルーミング」と呼ばれる長期戦略だ。AIの群れが大量の偽情報をネット上にばらまくと、それが将来のAIの学習データに紛れ込む。すると次世代のAIは、うそを事実として覚えてしまう。情報の土台そのものが汚染されるのだ。

　また、特定の政治家や学者、ジャーナリストなどを標的にし、この人たちの言動に合わせて執拗かつ巧妙なハラスメントを大量生成して送りつけることも可能だ。これにより、標的にされた人は精神的に追い詰められ、公的な議論の場から退場せざるを得なくなる。こうした状況が続けば、一般市民は何が真実で誰が人間なのか区別がつかなくなり、政治や社会問題への関心を失ってしまう可能性がある。

　では、どう対処すべきか。研究チームはいくつかの対策を提案している。

　この危機に対抗するためには、単に怪しい投稿を削除するだけでは不十分だと説く。AIの群れ特有の「不自然な連携の動き」をリアルタイムで検知するシステムの導入や、プライバシーを守りつつ「このアカウントは人間だ」と証明できる技術の普及が必要になる。

　プラットフォーム企業の自主的な取り組みだけでは不十分かもしれない。偽アカウントは閲覧数やいいね数などを増やし、企業の収益に貢献してしまう面があるからだ。そこで、対策を怠る企業を広告市場やアプリストアから排除するといった経済的な圧力が有効だと指摘する。

　国際的には、各国の研究機関やNGOが連携するネットワークを作り、情報を共有して迅速に対応できる体制を整えることが提案されている。

Source and Image Credits: Daniel Thilo Schroeder et al. ,How malicious AI swarms can threaten democracy.Science391,354-357（2026）.DOI:10.1126/science.adz1697

この連載新着通知をメールで受け取る

印刷する