嘗試變更 Robots.txt 來改善流量消耗問題

無法顯示網頁終於復活了,雖然只有停擺短短的幾天,但總算讓我嘗到流量耗盡所帶來的痛苦。不過,這期間倒是讓我對於 Robots.txt 有了更深一層的認識,這個月我決定暫時不做更換主機商的動作,我要好好觀察一下 Robots.txt 是不是可以改善流量消耗的問題。有這方面經驗的朋友,也請不要羞於分享您與 Robots.txt 的閨房秘辛唷!

記得流量即將耗盡的時候,曾透過管理介面查詢到底是誰偷走了我的流量?查詢後的結果發現,絕大部分的流量都是被搜尋引擎機器人給偷走,其中最誇張的百度搜尋引擎,不知是食髓知味還是怎樣?每天固定來偷個好幾回,根本是吃飽太閒。

以下是修改後的 Robots.txt 檔案,其中最大的差異就是完全禁止百度搜尋引擎機器人〈baiduspider〉靠近無法顯示網頁,希望此舉可以稍微改善流量消耗的問題。

 User-agent: *
 Disallow: /wp-includes/
 User-agent: baiduspider
 Disallow: /
 User-agent: Gaisbot
 Disallow: /
 User-agent: MSNBot-Media
 Disallow: /
 User-agent: Slurp
 Crawl-delay: 10
 User-agent: Yahoo-Blogs/v3.9
 Crawl-delay: 20



14 則留言 On 嘗試變更 Robots.txt 來改善流量消耗問題

發表迴響

Site Footer