Google、REP（ロボット排除プロトコル）のWeb標準化に乗り出す

Googleは、Googlebotを含む多数のクローラーが採用している「REP（Robots Exclsion Protocol、ロボット排除プロトコル）」のWeb標準化を目指すと発表した。IETFにドラフトを提出し、GitHubで自社のrobots.txt関連データをオープンソースで公開した。

[佐藤由紀子，ITmedia]

　米Googleは7月1日（現地時間）、検索エンジンのクローラを制御する「robots.txt」の仕様である「REP（Robots Exclsion Protocol、ロボット排除プロトコル）」のWeb標準化を目指すと発表した。IETF（インターネット技術特別調査委員会）にドラフトを提出した。REPを1994年に考案したマーティン・コスター氏やWebマスター、他の検索エンジンとも協力していくとしている。

　自身もWebマスターであるコスター氏はREPを、クローラによってWebサイトを運営しているサーバに負荷が掛かりすぎないようにする目的で開発した。REPは20年以上、Googleの「Googlebot」をはじめとする主要なクローラが事実上の標準として採用し、約5000万のWebサイトがこのプロトコルに頼っている。

　だが、標準化されていないため、Webマスターは微妙なケースで判断が難しく、クローラやツールの開発者にとっても迷う原因になっているとGoogleは説明する。

　同社はまた、自社の「tobots.txt」のルール解析とマッチングに使っているC++ライブラリをGitHubでオープンソースで公開した。Webマスターがrobots.txtファイルを作成する方法や対処すべき問題についての説明も読むことができる。