私のサイトにおいてのrobots.txt（ロボット・テキスト）とは、ヤフー、Googleやmsn 等検索エンジンの
自動巡回ロボット（クローラー）に対して「**と***のコンテンツは巡回しちゃダメよん」みたいな事を指示する為に設置しております。
実は4年程前になりますが、画像付き日記で書いたアホな記述が、2、3日後には検索サイトに
反映されていたので、こっ恥かしくなり、慌てて設置した次第です。
さらに1年半前頃には、当時噂されていたアジア某大国の自動巡回ロボットの常軌を逸したクローリングを
静かな当サイト（特に画像付き日記サイト）でも確認しました。
それとは別ですが、検索エンジンを活用していると案外、どうでもいい情報が多すぎると思いませんか？
そんなワケで、当サイトでは‘けいじばん’‘画像付き日記’‘プライベートBBS’‘旧ダイアリー’の４つを
「ロボットさん、そこへは自動巡回しないでちょーだい」と記述してあります。
User-agent: *
Disallow: /bbs/
Disallow: /diary/
Disallow: /mr2/
Disallow: /***.**（画像付き日記のディレクトリ名）/
でも‘画像付き日記’は特殊なので暫くの間、巡回ロボットのアクセスがあり、さらに設置してあります（こちらは全て拒否）。
User-agent: *
Disallow: /
良くも悪しきも、ありとあらゆる情報が氾濫しているWebの世界です。情報発信の省エネ化？も必要なのでしょうか。