2005
11
找到流量暴增的兇手了
感謝Yaue的提醒，終於讓我找到這個可愛又可恨的兇手….It's Google bot !!
光一個Google bot就有13G的流量，這真是太恐怖了…（到今天 8/11 早上，非bot的實際瀏覽數據只有2.x G）
但是我又沒理由去拒絕Google搜尋，遵從主機商建議，就先從圖片的下手吧～順手也替Spider作了一份，不過我不知道格式正不正確..
User-agent: Googlebot
Disallow: /*.gif$
Disallow: /*.jpg$
Disallow: /*.png$
Disallow: /*.wmv$
Disallow: /*.gif$
Disallow: /*.jpg$
Disallow: /*.png$
Disallow: /*.wmv$
User-agent: Googlebot-Image
Disallow: /
User-agent: spider
Disallow: /
相關連結：
Googlebot： Google 的網頁搜尋器
需要從 Google 的索引中移除內容嗎？
robots.txt-Generator （德文）
Robots.txt Validator（Google 自己有自己的延伸格式）
« 濕紙巾分屍案
站內相關文章
這篇文章有 5則 迴響：
2
vsy姐，我剛偷抄襲你的robots.txt的內容，上傳到伺服器後，用沽狗去啟動自動移除url系統
沽狗告訴我，他們不支援*.gif 這種萬用變數的哦
我現在是直接指定disallow /skin/ 、/tree/、/emonicon/ 、/attach/ 這幾個有圖片的資料夾了
3
Yaue
我真懷疑是google bot瘋了
因為在我昨天放上robots.txt前，凌晨五點左右，流量就回正常了（昨天755MB，在正常範圍的臨界點）
可是我那個萬用字元是看本文第二個相關連結中的example去寫的耶…QQ"..(真詭異)
謝謝你告訴我喔…我也要來去重寫了= =…
4
這個嘛，我們不能排除是自動化URL系統沒有將*的對應方式寫在裡面。
不過我覺得奇怪的是，為什麼這幾天被googlebot狂炸的，都是daxp的用戶呢…?
這樣有效嗎？如果有效的話我也想要試試看^^"
不過我還是很懷疑，17mb的原始資料，像我的站，他們就可以產生2gb的流量，真不明白怎麼弄的