ITmedia NEWS > STUDIO >

OpenAIのクローラーをNew York Timesなどのペイウォールメディアがブロック開始

» 2023年08月26日 07時21分 公開
[ITmedia]

 米The New York Timesや日経新聞など、記事を読むためにサブスクリプションが必要な、ペイウォールを設置しているメディアサイトが、米OpenAIのWebクローラー「GPTBot」をブロックし始めている。米The Vergeが8月22日(現地時間)、The New York Timesのブロックについて報じた。

 GPTBotは、OpenAIのAIチャットbot「ChatGPT」などのAIモデルのトレーニングのためのデータを収集するクローラー。

 OpenAIは公式サイトで、ペイウォールを設定しているページや個人を特定できる情報を収集するページをフィルタリングしていると説明しているが、同じページでサイトへのアクセスを禁止する方法も説明している。

 gptpot GPTBotのアクセスをブロックする方法

 The Vergeによると、The New York Timesのrobots.txtにGPTBotをブロックする行が追加されたのは17日前後という。

 The New York Timesは3日付で利用規約を更新し、サービスの使用禁止の条項に「機械学習またはAIシステムのトレーニングを含むがこれらに限定されない、ソフトウェアプログラムの開発にコンテンツを使用すること」という文言を追加した。

 nyt The New York TimesのTerms of Serviceより

 本稿筆者が調べた範囲では、米CNN、米Bloomberg、米Reuters、米Business Insider、日経新聞などのペイウォールのあるメディアがGPTBotをブロックしている。米Washington Postと米Buzz Feedはペイウォールがあるが、今のところブロックしていない。

 nikkei 日経新聞のrobots.txt

 また、米Amazon.comもGPTBotをブロックしている。

 OpenAIは7月、ペイウォールのあるメディアの有料記事が読めてしまうという報告を受け、ChatGPT PlusのWebブラウジングを一時停止した(現在も停止中)。

Copyright © ITmedia, Inc. All Rights Reserved.