嘗試變更 Robots.txt 來改善流量消耗問題

首頁部落格記事嘗試變更 Robots.txt 來改善流量消耗問題

無法顯示網頁終於復活了,雖然只有停擺短短的幾天,但總算讓我嘗到流量耗盡所帶來的痛苦。不過,這期間倒是讓我對於 Robots.txt 有了更深一層的認識,這個月我決定暫時不做更換主機商的動作,我要好好觀察一下 Robots.txt 是不是可以改善流量消耗的問題。有這方面經驗的朋友,也請不要羞於分享您與 Robots.txt 的閨房秘辛唷!

記得流量即將耗盡的時候,曾透過管理介面查詢到底是誰偷走了我的流量?查詢後的結果發現,絕大部分的流量都是被搜尋引擎機器人給偷走,其中最誇張的百度搜尋引擎,不知是食髓知味還是怎樣?每天固定來偷個好幾回,根本是吃飽太閒。

以下是修改後的 Robots.txt 檔案,其中最大的差異就是完全禁止百度搜尋引擎機器人(baiduspider)靠近無法顯示網頁,希望此舉可以稍微改善流量消耗的問題。

 User-agent: *
 Disallow: /wp-includes/
 User-agent: baiduspider
 Disallow: /
 User-agent: Gaisbot
 Disallow: /
 User-agent: MSNBot-Media
 Disallow: /
 User-agent: Slurp
 Crawl-delay: 10
 User-agent: Yahoo-Blogs/v3.9
 Crawl-delay: 20


您也許對這些文章也感興趣:

最後更新日期: 2022-08-24


留言

在〈嘗試變更 Robots.txt 來改善流量消耗問題〉中有 13 則留言

  1. 「白色飛魚」的個人頭像

    對嘛,那個數百度來訪的百度,至少留個言再走嘛!

    1. 「無法顯示網頁」的個人頭像

      說的也是,至少也應該留個言再走嘛!
      百度真是沒水準,哼~〈終於說出內心話了〉 :mrgreen:

  2. 「helenna」的個人頭像

    備受青睞的感覺也不怎麼爽! 😈
    恭喜復活了

    1. 「無法顯示網頁」的個人頭像

      受你們青睞的感覺真的是不錯~
      但受搜尋引擎機器人青睞的感覺就很不好~ 😮

  3. 「小賴」的個人頭像
    小賴

    慶祝小米回歸,
    小米請大家喝小米酒喔~~~~~ 😳

    1. 「無法顯示網頁」的個人頭像

      來來來,喝喝喝~
      今天,咱們不醉不歸呀! 😳

  4. 「張CC」的個人頭像

    對阿~~這幾天開不了你的網頁
    以為你貼色情圖片被抓去關了勒~~ 🙁

    1. 「無法顯示網頁」的個人頭像

      貼色情圖片被抓去關咧?
      哇~ 你消失好一陣子了,前幾天發表了幾天登山的文章~
      挺不錯的!重點是~ 辣妹應該蠻多的吧? :great:

  5. 「Dreamy」的個人頭像

    恭喜復活!
    接下來要請教你了。
    Robots.txt 要如何設定啊?怎麼使用?

    1. 「無法顯示網頁」的個人頭像

      Robots.txt 要如何設定?
      關於這個問題,我還真的不曉得該怎麼回答耶!
      目前我的 Robots.txt 敘述需要一些時間來觀察效果好不好,
      所以~ 我也不知道目前的設定是否洽當? 😯

  6. 「olivia」的個人頭像

    這篇…..我看不懂……

    1. 「無法顯示網頁」的個人頭像

      沒關係,有機會碰到的話,
      你就會知道我講的是甚麼東西囉! 😀

  7. 「Retsu」的個人頭像

    測試看看

發佈留言