Cloudflare、AIボットからウェブサイトを守る新機能を発表

Cloudflareは、WebサイトをスクレイピングするAIボットをブロックする新機能「AI Scrapers and Crawlers」をすべてのユーザーに提供すると発表した。ダッシュボードで有効にすることで利用できる。

[ITmedia]

　インターネットセキュリティ企業の米Cloudflareは7月3日（現地時間）、AIによるWebサイトのスクレイピング（データの自動収集）を防ぐ新機能を発表した。この機能により、Webサイト運営者は簡単な操作でAIボットからサイトを守ることができるようになるとしている。

　近年、米OpenAIの「ChatGPT」などの生成AIの登場により、AIの学習に使用されるデータの需要が急増している。そのため、多くのAI企業がインターネット上の情報を大規模に収集しようとしている。

過去1年にCloudflareのネットワーク上で見られたAIボットの推移（画像：Cloudflare）

　従来、Webサイト運営者はrobots.txtというファイルを使用して、検索エンジンのクローラーなどのボットにサイトのどの部分にアクセスしてよいかを指示していた。

　だが、この方法には限界があるとCloudflareは説明する。例えば、robots.txtは「紳士協定」のようなもので、悪意のあるボットは無視する可能性がある。また、ボットは簡単にユーザーエージェントを偽装できるため、正体を隠すことができる。

　Cloudflareの新機能「AI Scrapers and Crawlers」は、グローバルな機械学習モデルを使用して、偽装したボットも検出できるという。顧客はダッシュボード上のトグルスイッチを有効にするだけで利用可能だ。無料プランを含む、すべての顧客が利用できる。

「AI Scrapers and Crawlers」を有効にする（画像：Cloudflare）

　機能を有効にしておくと、新しいAIボットが発見されるごとに自動的にブロックリストに追加される。

　Cloudflareは、1秒間に平均5700万件以上のリクエストを処理する巨大なネットワークを持っており、この膨大なデータを活用して、AIボットの行動パターンを学習し、高精度で検出する。例えば、ユーザーエージェントを偽装してブラウザのふりをしているボットでも、その他の特徴から「ボットらしさ」をスコア化し、30点以下のスコアのアクセスを自動的にブロックする。

　Cloudflareは、この機能を継続的に改善していく方針。また、不正なAIボットの報告システムも用意し、ユーザーからのフィードバックを積極的に受け付けているとしている。