CloudflareがAIクローラー対策を実装 Webコンテンツの無断収集をブロック：セキュリティニュースアラート

CloudflareはAIクローラーによるWebコンテンツの無断収集を初期設定でブロックする機能を導入した。Webサイト運営者はAIの利用目的に応じてアクセスの可否を選択できる。

[後藤大地，有限会社オングス]

　Cloudflareは2025年7月1日（現地時間）、AIクローラーによるWebコンテンツの無断収集を初期設定でブロックする仕組みを導入したと発表した。Webサイトの運営者は、AIによる情報収集の可否を選択できるようになる。AI企業はクローラーの目的が学習か検索、推論のいずれかを明示する必要があり、運営者はそれを踏まえてアクセスの可否を判断できる。

CloudflareがAIクローラー対策を実装　Webコンテンツの無断収集をブロック

　従来、Webの情報は検索エンジンによってインデックス化され、ユーザーを元のWebサイトに誘導するという構図が一般的だった。この仕組みにより、コンテンツの提供者は広告収入や認知を得てきた。しかしAIクローラーは、元のWebサイトに誘導することなく情報を収集し、生成AIの回答などに活用している。この手法では労力とコストをかけた制作者が直接的な利益を得る仕組みを失わせてしまうリスクがあった。

　Cloudflareはこうした問題に対し積極的に取り組んでおり、2024年9月にはAIクローラーをワンクリックでブロックできる機能を導入していた。これまでに100万件を超えるWebサイトがこの設定を有効化している。今回の変更ではCloudflareに新規登録する全てのドメインにAIクローラーの受け入れ可否を最初に確認する仕組みが追加される。これにより、Webサイト運営者は特別な設定をすることなく、最初からコンテンツを自動的に保護した状態でWebサイトを公開できる。

　Cloudflareは現在、AIコミュニティーと協力し、AIクローラーが自身を認証し、Webサイトがクローラーを正しく識別するための新たなプロトコルの開発に取り組んでいる。このプロトコルが実現すれば、Webサイト運営者は意図しない情報収集を効果的に防げるようになる。

　同社の一連の取り組みは、Webの情報利用をより透明にし、コンテンツの利用者と提供者の双方にとって適切なバランスが取れた環境の整備を促進させる狙いがある。デジタルコンテンツの権利保護と健全な情報流通の未来を築くための重要な一歩といえる。