Perplexityはブロックされたサイトを「ステルスクローリング」している──Cloudflareが告発

Cloudflareは、AI検索のPerplexityがサイト運営者のブロック設定を回避して「ステルスクローリング」を行っていると告発。robots.txtで拒否しても、クローラー情報を隠してアクセスを試みているという。Cloudflareは対策を強化したと発表した。

[ITmedia]

　米Cloudflareは8月4日（現地時間）、Web検索に特化したAI「Perplexity」を手掛ける米Perplexity AIが、Webクローラーによる特定のWebサイトへのアクセスを阻止するための制限を回避している疑いがあると発表した。PerplexityのクローラーはブロックされるとWebサイトの設定を回避するためにクロールIDを隠ぺいするという。

（画像：Cloudflare）

　Cloudflareはネットアーキテクチャプロバイダー大手。顧客から、robots.txtによりPerplexityの公式クローラー（PerplexityBot、Perplexity-User）をブロックしたにもかかわらず、不正アクセスが続いているという苦情を受けたという。

　同社がこの問題をテストしたところ、WebサイトでAIスクレイピングを禁止していても、Perplexityはユーザーエージェントを変更し、IPアドレスリストに含まれないIPアドレスを使った。さらに、PerplexityはASN（自律システムネットワーク）を変更することでもブロックを回避しているという。

PerplexityのクローラーがWebサイトにアクセスしようとするフローチャート（画像：Cloudflare）

　Cloudflareはこの問題に対処するため、Perplexityのボットを検証済みリストから削除し、こうしたステルスクローリング検出のために、マネージドルールに新たなヒューリスティックを追加し、未登録クローラーを自動ブロックする仕組みを導入したとしている。