Cloudflare、AIクローラーから独立系メディアを無償保護　「AIで報道機関の事業が脅かされている」

» 2025年09月24日 16時49分公開

[ITmedia]

　米Cloudflareは9月23日（米国時間）、独立系メディアや非営利団体をサイバー攻撃などから守る無償サービス「Project Galileo」を拡大し、AIクローラーの監視・制御機能を無償提供すると発表した。AIクローラーによって人間のWebサイト訪問が減り、報道機関の収益が脅かされる問題に対応する。

Project Galileoの公式サイトより

　プロジェクトGalileoは2014年にスタート。世界750人以上のジャーナリストの他、人道団体、人権擁護活動家など非営利団体向けに、DDoSをはじめとしたサイバー攻撃からサイトを守るツールを無償で提供してきた。

　新たに、ボット管理サービスとAIクローラー管理サービスを提供。望まないAIクローラーからWebサイトを保護できる。

　同社は「インターネットがAI主導の形式に移行しようとしている現代、人々が情報を得る手段としてAIを使い、情報源であるWebサイトを訪問する機会が減少している。これは報道機関の事業継続性を脅かすと同時に、コミュニティが地域のニュースの情報源を失うリスクも生み出している」と指摘し、AIがメディアにとって不利益にならないようにしたいと述べている。

Cloudflare、AIボットからウェブサイトを守る新機能を発表
Cloudflareは、WebサイトをスクレイピングするAIボットをブロックする新機能「AI Scrapers and Crawlers」をすべてのユーザーに提供すると発表した。ダッシュボードで有効にすることで利用できる。
Cloudflare、AI時代のクリエイター支援策を発表「コンテンツ独立記念日」宣言
Cloudflareは7月1日に「コンテンツ独立記念日」を宣言し、AI時代におけるクリエイターの権利保護と収益化を支援する新構想を発表した。AIクローラーをデフォルトでブロックし、コンテンツ利用に応じて課金する「pay per crawl」の導入などを目指す。
Perplexityはブロックされたサイトを「ステルスクローリング」している──Cloudflareが告発
Cloudflareは、AI検索のPerplexityがサイト運営者のブロック設定を回避して「ステルスクローリング」を行っていると告発。robots.txtで拒否しても、クローラー情報を隠してアクセスを試みているという。Cloudflareは対策を強化したと発表した。
AIの無断学習は絶対許さない──Webクローラーを“出口のない落とし穴”に閉じ込めるプログラム、海外ユーザーが公開
Webを巡回してAIモデルの学習に使う情報をかき集めるクローラーの横行に対し、反発が強まっている。ある海外ユーザーが迷惑クローラーを“出口のない落とし穴”に閉じ込めて撃退するプログラム「Nepenthes」を公開した。
OpenAIのクローラーをNew York Timesなどのペイウォールメディアがブロック開始
The New York Timesや日経新聞など、ペイウォールを設置する複数のメディアが、生成AIのトレーニング用にコンテンツを収集するクローラーをブロックし始めている。
OpenAI、Webデータ収集クローラー「GPTBot」のブロック方法を説明
OpenAIは生成AIトレーニング用データをインターネット上のWebサイトから収集する自社製クローラー「GPTBot」をひっそり紹介し、Webオーナー向けにこのクローラーのブロック方法を説明した。