嘗試變更 Robots.txt 來改善流量消耗問題

首頁 › 部落格記事 › 嘗試變更 Robots.txt 來改善流量消耗問題

無法顯示網頁終於復活了，雖然只有停擺短短的幾天，但總算讓我嘗到流量耗盡所帶來的痛苦。不過，這期間倒是讓我對於 Robots.txt 有了更深一層的認識，這個月我決定暫時不做更換主機商的動作，我要好好觀察一下 Robots.txt 是不是可以改善流量消耗的問題。有這方面經驗的朋友，也請不要羞於分享您與 Robots.txt 的閨房秘辛唷！

記得流量即將耗盡的時候，曾透過管理介面查詢到底是誰偷走了我的流量？查詢後的結果發現，絕大部分的流量都是被搜尋引擎機器人給偷走，其中最誇張的百度搜尋引擎，不知是食髓知味還是怎樣？每天固定來偷個好幾回，根本是吃飽太閒。

以下是修改後的 Robots.txt 檔案，其中最大的差異就是完全禁止百度搜尋引擎機器人（baiduspider）靠近無法顯示網頁，希望此舉可以稍微改善流量消耗的問題。

　User-agent: * 　Disallow: /wp-includes/ 　User-agent: baiduspider 　Disallow: / 　User-agent: Gaisbot 　Disallow: / 　User-agent: MSNBot-Media 　Disallow: / 　User-agent: Slurp 　Crawl-delay: 10 　User-agent: Yahoo-Blogs/v3.9 　Crawl-delay: 20

您也許對這些文章也感興趣：

最後更新日期： 2022-08-24

留言

在〈嘗試變更 Robots.txt 來改善流量消耗問題〉中有 13 則留言

白色飛魚

2007-07-01 01:48

回覆

對嘛，那個數百度來訪的百度，至少留個言再走嘛！
1. 無法顯示網頁
  
  2007-07-01 02:07
  
  說的也是，至少也應該留個言再走嘛！
  百度真是沒水準，哼~〈終於說出內心話了〉
helenna

2007-07-01 07:14

回覆

備受青睞的感覺也不怎麼爽! 😈
恭喜復活了
1. 無法顯示網頁
  
  2007-07-01 12:41
  
  受你們青睞的感覺真的是不錯~
  但受搜尋引擎機器人青睞的感覺就很不好~ 😮
小賴

2007-07-01 07:34

回覆

慶祝小米回歸,
小米請大家喝小米酒喔~~~~~ 😳
1. 無法顯示網頁
  
  2007-07-01 12:42
  
  來來來，喝喝喝~
  今天，咱們不醉不歸呀！ 😳
張CC

2007-07-01 07:56

回覆

對阿~~這幾天開不了你的網頁
以為你貼色情圖片被抓去關了勒~~ 🙁
1. 無法顯示網頁
  
  2007-07-01 12:44
  
  貼色情圖片被抓去關咧？
  哇~ 你消失好一陣子了，前幾天發表了幾天登山的文章~
  挺不錯的！重點是~ 辣妹應該蠻多的吧？ :great:
Dreamy

2007-07-01 10:31

回覆

恭喜復活！
接下來要請教你了。
Robots.txt 要如何設定啊？怎麼使用？
1. 無法顯示網頁
  
  2007-07-01 12:47
  
  Robots.txt 要如何設定？
  關於這個問題，我還真的不曉得該怎麼回答耶！
  目前我的 Robots.txt 敘述需要一些時間來觀察效果好不好，
  所以~ 我也不知道目前的設定是否洽當？ 😯
olivia

2007-07-05 12:58

回覆

這篇…..我看不懂……
1. 無法顯示網頁
  
  2007-07-05 22:14
  
  沒關係，有機會碰到的話，
  你就會知道我講的是甚麼東西囉！ 😀
Retsu

2010-02-24 19:59

回覆

測試看看

嘗試變更 Robots.txt 來改善流量消耗問題

留言

在〈嘗試變更 Robots.txt 來改善流量消耗問題〉中有 13 則留言

發佈留言取消回覆