AI学習は拒否、検索クロールは維持……Cloudflareの新機能「AI学習の不許可」　Google、Apple、Microsoftが対応

　米Cloudflareは9月15日（現地時間）、同社サービスを利用するWebサイト運営者が、検索のためのクロールは許可したまま、同じクローラーによるAI学習だけを拒否できる新たな設定「AI学習の不許可」（Disallow AI Training）を発表した。全プランの全顧客が利用できる。

　AppleとGoogleは既にこの設定に対応しており、Microsoftも2027年初頭までに対応する方針を示しているという。OpenAI、Anthropic、Meta、Amazonは、検索クローラーと学習クローラーを分けているため、この設定にしておけば、学習クローラーだけをブロックできる。

　AppleやGoogle、Microsoftなど、検索とAI開発双方を手掛ける企業は、検索とAI学習の両方を1つのクローラーでまかなう「兼用クローラー」（mixed-use crawler）を使っている。

　自身のサイトをAI学習に使われたくない運営者は、兼用クローラーを拒否すると、AI学習と同時に検索クローラーも拒否することになり、コンテンツをAI学習に使われたくなくても、検索で見つからなくなるリスクを負うことになる。

　このためサイト運営者は、検索のためのクロールを許可したければ、同じクローラーによるAI学習を拒否することが難しかった。

　この課題について、Cloudflareは、クローラー運営各社と直接協議。検索のためのクロールを維持したまま、AI学習を拒否できる仕組みを構築した。

　新たに実装した「AI学習の不許可」設定を選ぶと、Cloudflareがサイトのrobots.txtに、学習を認めないルールを記載。対応する兼用クローラーは、検索のために引き続きサイトをクロールするが、AI学習には使わない。

　AppleとGoogleの兼用クローラーは既に対応しているという。Microsoftが対応するのは2027年初頭になる見通し。それまでは、Bingの学習を拒否するには、サイト運営者がページのHTMLに「NOARCHIVE」タグを入れるなどの対応が必要になる。

この記事の著者

関連記事

• 

  Cloudflare、AIクローラー制御を全顧客に開放──「検索」「エージェント」「学習」の3分類で管理可能に

• 

  Google、AI検索への表示を拒否できるWebオーナー向けトグル機能のテスト開始

• 

  Perplexityはブロックされたサイトを「ステルスクローリング」している──Cloudflareが告発

• 

  Cloudflare、AI時代のクリエイター支援策を発表 「コンテンツ独立記念日」宣言

• 

  Cloudflare、AIボットからウェブサイトを守る新機能を発表

• 

  Google、WebサイトのコンテンツをAIトレーニングからオプトアウトするツールを提供