Perplexityはブロックされたサイトを「ステルスクローリング」している──Cloudflareが告発

　米Cloudflareは8月4日（現地時間）、Web検索に特化したAI「Perplexity」を手掛ける米Perplexity AIが、Webクローラーによる特定のWebサイトへのアクセスを阻止するための制限を回避している疑いがあると発表した。PerplexityのクローラーはブロックされるとWebサイトの設定を回避するためにクロールIDを隠ぺいするという。

（画像：Cloudflare）

　Cloudflareはネットアーキテクチャプロバイダー大手。顧客から、robots.txtによりPerplexityの公式クローラー（PerplexityBot、Perplexity-User）をブロックしたにもかかわらず、不正アクセスが続いているという苦情を受けたという。

　同社がこの問題をテストしたところ、WebサイトでAIスクレイピングを禁止していても、Perplexityはユーザーエージェントを変更し、IPアドレスリストに含まれないIPアドレスを使った。さらに、PerplexityはASN（自律システムネットワーク）を変更することでもブロックを回避しているという。

PerplexityのクローラーがWebサイトにアクセスしようとするフローチャート（画像：Cloudflare）

　Cloudflareはこの問題に対処するため、Perplexityのボットを検証済みリストから削除し、こうしたステルスクローリング検出のために、マネージドルールに新たなヒューリスティックを追加し、未登録クローラーを自動ブロックする仕組みを導入したとしている。

印刷する

SNSでシェア

関連記事

• 

  Perplexity、AI搭載Webブラウザ「Comet」公開　まずはMaxユーザーに

• 

  Cloudflare、AI時代のクリエイター支援策を発表 「コンテンツ独立記念日」宣言

• 

  “Google対抗”のAI検索「Perplexity」が模索する、出版社との共存共栄

• 

  AIの無断学習は絶対許さない──Webクローラーを“出口のない落とし穴”に閉じ込めるプログラム、海外ユーザーが公開

こんなメディアも見られています

ITmedia NEWSに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。

企業ITのトレンドを詳説

ITmedia エンタープライズ

企業ITのトレンドを詳説

エネルギーの専門メディア

建設×テクノロジーの最前線

BUILT

ビジネスと働き方のヒント

ITmedia ビジネスオンライン