« 大薯 | Main | Googleカスタム検索窓を設置 »

2013年3月 1日

robots.txtの導入

Category : 2013 Diary, MT Installation and Customize

レンタルサーバー業者から、
「おたくのmt-search.cgiがサーバーの負荷を高くしており、
パーミッションを「000」にしたので、対応策を施して連絡してください。」
と連絡がありました。
調べてみると、ログにたくさんの検索の跡が・・・
特に自分サイトの場合、タグクラウドもたくさん表示しているので、
なおさらかなと思いいろいろ調べて

robots.txtというのを設置しました。
参考にしたのは、

mt-search.cgiの負荷に対するrobots.txtの効果 - 日曜プログラマのそゞろ事
とか、
robots.txt とは？

robots.txtに記述したのは、以下だけ

User-Agent: *
Disallow: /herethere/mt4/
（Disallow: /herethere/mt4/の後は改行必要）

ログには、MICROSOFTとか、ISPなんかからのアクセスが結構あったので、
ある程度負荷が減ると思います。
検索数が少し減った感じに見えますが、
効果が表れるには少し時間がかかるとの事。
このまま少し様子を見てみようと思います。




【追記】 2013年3月6日
どうも、robots.txtの記述が不十分だったようで、
Google等からの検索がかかっていましたが、
以下のサイトの注意書きで改行を追加。
効果があって検索数が激減しているようです。 しばらく様子を見ます。

検索よけ　robots.txt
User-Agent: *
Disallow: /
（Disallow: /の後は改行して下さい）


タグ:

Posted 2013年3月 1日 19:57 by Hiro   Comments(0)    Trackbacks(0)

当サイトの関連記事

Bookmarks

  はてなブックマーク - robots.txtの導入   

トラックバックURL

このエントリーのトラックバックURL:
http://herethere.cressel.com/mt4/mt-tb.cgi/1826

コメントする


お詫び：コメント投稿後に反映まで時間がかかったり、
エラーが表示される事がありますが殆どの場合正常に投稿されます。
暫く待って、INTERNAL SERVER ERROR等が表示された場合、
そのままブラウザーの「戻る」ボタンで前の画面に戻ってください。
コメントは正常に投稿されているはずです。