Cloudflare、AIクローラー制御を全顧客に開放──「検索」「エージェント」「学習」の3分類で管理可能に

Cloudflareは、Webサイト運営者がAI関連のクローラーを「検索」「エージェント」「学習」の用途別に管理できる新機能を発表した。従来の単純な一括ブロックに代わり、挙動ベースでの制御を可能にする。また、AIの回答にコンテンツが使われた回数に応じて課金する仕組み「Pay Per Use」の実証実験なども発表した。

[ITmedia]

　米Cloudflareは7月1日（現地時間）、Webサイト運営者がAI関連のクローラートラフィックをより細かく制御できる新機能を発表した。従来の「AIボットを一括ブロック」という単純な選択肢に代わり、無料プランを含む全顧客が「検索」「エージェント」「学習」という3つの用途別にクローラーを管理できるようになる。

　9月15日には新規ドメインを対象に、広告収益化されたページで「学習」および「エージェント」用途のクローラーをデフォルトでブロックし、「検索」用途は許可する新しいデフォルト設定を導入する予定だ。

　同社は今回の変更を、AIの定義自体が急速に変化する中で「AIかどうか」ではなく「Webサイト上で何をしているか」という挙動ベースの分類に移行するものと説明している。GooglebotやApplebotのように検索と学習など複数の用途を兼ねるクローラーは、いずれかの用途がブロック対象であれば全体がブロックされる仕組みとなる。あわせて、エンタープライズ顧客向けに全クローラーを検索できる新データベース「BotBase」も提供開始した。robots.txtの拡張仕様「Content Signals」には、コンテンツの再利用範囲を指定できる新項目も追加される。

　Cloudflareは同日、AI検索の効率化と収益化に向けた2つの取り組みも発表した。1つは、更新のないWebページへの再クロールを減らすための研究プログラム。同社によると、良質なボットによるクロール量の半数以上が変更のないWebページへの再取得に費やされているといい、更新の有無を示すシグナルを活用してAI検索エンジン側の負荷とサイト運営者のサーバ負担を軽減する狙いがある。もう1つは、従来のクロール回数に応じた課金モデル「Pay Per Crawl」を、コンテンツが実際にAIの回答に使われた回数に応じて課金する「Pay Per Use」へ発展させる取り組みで、米Ceramic.aiや米You.comと実証実験を進めるとしている。

　同社は昨年7月、AI企業がWebサイトのコンテンツを無断で学習に利用する動きに対抗し、クローラーを一括ブロックできる機能や「Pay Per Crawl」マーケットプレイスを発表し、「Content Independence Day」（コンテンツの独立記念日）を宣言している。