検索サイトからのロボットアクセスを拒否したい

　最近のGoogleに代表されるロボット型ポータルサイトでは、知らぬ間に自らの管理ページが登録されることが多い。ある公開を行ってから日の経つサイトでは、次のようにアクセスログから検索してみればロボットが訪問している足跡が確認できるはずだ。

　このような訪問を阻止したい場合には、ドキュメントルートにrobots.txtファイルを置けばよい。ファイル内容は次のようにしよう。User-agent:が「*」（すべて）にマッチし、Disallow:に「/」を指定することでドキュメントルート下すべてで拒否をするという指定になる（次の例は、RPMパッケージでインストールされているApacheのドキュメントルート先）。