robots.txtの導入
レンタルサーバー業者から、
「おたくのmt-search.cgiがサーバーの負荷を高くしており、
パーミッションを「000」にしたので、対応策を施して連絡してください。」
と連絡がありました。
調べてみると、ログにたくさんの検索の跡が・・・
特に自分サイトの場合、タグクラウドもたくさん表示しているので、
なおさらかなと思いいろいろ調べて
robots.txtというのを設置しました。
参考にしたのは、
mt-search.cgiの負荷に対するrobots.txtの効果 - 日曜プログラマのそゞろ事
とか、
robots.txt とは?
robots.txtに記述したのは、以下だけ
User-Agent: *
Disallow: /herethere/mt4/
(Disallow: /herethere/mt4/の後は改行必要)
ログには、MICROSOFTとか、ISPなんかからのアクセスが結構あったので、
ある程度負荷が減ると思います。
検索数が少し減った感じに見えますが、
効果が表れるには少し時間がかかるとの事。
このまま少し様子を見てみようと思います。
【追記】 2013年3月6日
どうも、robots.txtの記述が不十分だったようで、
Google等からの検索がかかっていましたが、
以下のサイトの注意書きで改行を追加。
効果があって検索数が激減しているようです。 しばらく様子を見ます。
検索よけ robots.txt
User-Agent: *
Disallow: /
(Disallow: /の後は改行して下さい)
コメントする