■robots.txt ファイルは、そのサイトのトップ、HTTP サーバのルートに置かなくてはなりません。
○ http://www.●●●.com/robots.txt
× http://www.●●●.com/~●●●/robots.txt
■robots.txt の中には次のように記述する。
見てもらいたい場合は[allow]、見られたくない場合は[Disallow]の後にファイル名やディレクトリ名を書きます。
●すべて（*）のロボットに対して、/ ではじまるファイル（つまりはすべてのファイル）を検索データベースに登録することを禁止する場合
User-agent: *
Disallow: /
●goo と Google に対してのみ、/○○○ と /△△△ の下のファイルを検索させないようにするには、次のように記述する。
User-agent: moget
Disallow: /○○○/
Disallow: //△△△/
User-agent: Googlebot
Disallow: /○○○/
Disallow: //△△△/
※ファイル単位での除外も可能