今天中午百度站長社區(qū)平臺更新了一條公告，如下：
尊敬的各位用戶，親愛的站長們，大家好：
近期，我們收到一些對Crawl-delay用法的詢問，現(xiàn)明確百度對網(wǎng)站訪問頻率不再參考該設(shè)置，即不支持Crawl-delay配置，如果您希望配置網(wǎng)站針對百度spider的訪問頻率，建議您使用百度站長平臺的抓取壓力反饋工具，先查詢網(wǎng)站在百度近一個月的天級抓取量趨勢圖，可調(diào)節(jié)百度spider每天訪問您網(wǎng)站的抓取壓力上限，供百度參考，避免百度spider對站點抓取壓力過大，造成網(wǎng)站服務(wù)器負載及抓取異常。
相信很多人都不清楚什么是Crawl-delay，筆者也是才知道有這個東西，通過搜索，筆者了解到Crawl-delay翻譯成中文意思是抓取延遲的意思。那么Crawl-delay到底干什么用的呢?用在什么地方呢?筆者在一番查詢之后整理出來，與大家分享：
要談到Crawl-delay的用途，還需要提及大家都比較熟悉的Robots協(xié)議，網(wǎng)站通過robots協(xié)議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。而通過Crawl-delay我們可以設(shè)置一個讓蜘蛛有較低的抓取請求頻率，這樣就可以降低了服務(wù)器的壓力，而設(shè)置Cralw-delay的大小應(yīng)該根據(jù)服務(wù)器能夠承受的壓力和機器人的數(shù)量來確定。例如你希望yahoo的機器人每2秒來一次，就應(yīng)該先查看訪問服務(wù)器的yahoo的機 器人有多少個，假如有40個yahoo機器人，這個參數(shù)就應(yīng)該設(shè)置為2*40=80。但如果40多個爬蟲恰好都在同一個時間段內(nèi)采集，即便每只間隔100秒，40只先后腳的來爬，到最后一只 爬完后，第一只的間隔時間又到了，造成的壓力很大了，不過這可能是最“理想”狀態(tài)下才會發(fā)生的。
接下來展示一個 Crawl-delay的應(yīng)用實例：
大家可以看到Crawl-delay 后面的數(shù)值100表示告訴蜘蛛程序，以秒為單位的最低延時。如果crawler頻率對您的服務(wù)器是一個負擔，您可以將這個延時設(shè)定為任何您認為恰當?shù)臄?shù)字，每間隔100s來爬行一次。這個設(shè)置似乎只針對于大站，小站很少見，設(shè)置Crawl-delay注要原因是蜘蛛程序爬的過快，會給服務(wù)器照成負擔，影響正常的網(wǎng)站展示速度。
百度此次特地發(fā)出聲明說不支持Crawl-delay設(shè)置，并不代表從此Crawl-delay設(shè)置無用武之地。目前支持這個參數(shù)的搜索引擎有Slurp(yahoo和altaVista的機器人)、MSN使用的微軟機器人，Googlebot還沒有使用“Crawl-delay”參數(shù)，現(xiàn)在百度也沒有，那么我們可以反過來想，如果我們主要是以百度搜索為主要推廣手段以其他搜索引擎為輔助的話，我們可以在服務(wù)器條件不好的情況下，通過設(shè)置Crawl-delay降低其他搜索引擎的抓取頻率，這樣就可以合理的減少服務(wù)器壓力，從影響優(yōu)化因素的角度來講也是一個好消息!
所以，不管百度怎么變，宗旨是不會變的，我們在圍繞百度做優(yōu)化的同時，合理的采取一些小技巧，也許會收到意想不到的收獲!
文章編輯由南昌胃腸檢查http://www.86818330.com/獨家編撰，轉(zhuǎn)載請勿刪除源地址!
網(wǎng)友點評
精彩導(dǎo)讀
科技快報
品牌展示