robots.txt の書き方

■robots.txt ファイルは、そのサイトのトップ、HTTP サーバのルートに置かなくてはなりません。

○ http://www.●●●.com/robots.txt
× http://www.●●●.com/~●●●/robots.txt

■robots.txt の中には次のように記述する。
見てもらいたい場合は[allow]、見られたくない場合は[Disallow]の後にファイル名やディレクトリ名を書きます。

●すべて（*）のロボットに対して、/ ではじまるファイル（つまりはすべてのファイル）を検索データベースに登録することを禁止する場合
User-agent: *
Disallow: /

●goo と Google に対してのみ、/○○○ と /△△△ の下のファイルを検索させないようにするには、次のように記述する。

User-agent: moget
Disallow: /○○○/
Disallow: //△△△/

User-agent: Googlebot
Disallow: /○○○/
Disallow: //△△△/

※ファイル単位での除外も可能

 - メモ