服務(wù)器是網(wǎng)站生存的基礎(chǔ)，不論是什么原因造成的服務(wù)器封禁，都直接影響搜索引擎的抓取，影響網(wǎng)站的用戶體驗(yàn)，不利于seo工作的展開(kāi)。重慶seo奕杉其將以自己的親身經(jīng)歷，結(jié)合網(wǎng)絡(luò)上一些朋友對(duì)這類問(wèn)題的分析，總結(jié)出造成服務(wù)器封禁的三點(diǎn)主要原因：
一、服務(wù)器不穩(wěn)定
現(xiàn)在的服務(wù)器多如牛毛，價(jià)格也各不相同，質(zhì)量方面也是相差甚遠(yuǎn)，站長(zhǎng)們往往在選擇的時(shí)候都是“只認(rèn)價(jià)不認(rèn)質(zhì)”， 有的空間商為了節(jié)省資源，故意屏蔽掉spider（蜘蛛）的IP，導(dǎo)致spider抓取失敗，網(wǎng)站頁(yè)面就無(wú)法被搜索引擎收錄。
解決方法：選擇有實(shí)力的正規(guī)空間商，盡可能保證您的網(wǎng)站穩(wěn)定。服務(wù)器和空間的穩(wěn)定性需要一定的技術(shù)實(shí)力來(lái)保障，一些沒(méi)有實(shí)力的空間商，可能無(wú)力提供良好的服務(wù)，服務(wù)的穩(wěn)定性無(wú)法保證。我們可以很形像的打個(gè)比喻：如果將“人”比喻為網(wǎng)站內(nèi)容，那么服務(wù)器就是我們的“家”，它為我們擋風(fēng)避雨，為我們的生存提供了一個(gè)優(yōu)良的環(huán)境，而服務(wù)器的好壞將影響我們所能承受的風(fēng)險(xiǎn)。我想，誰(shuí)都不愿意住在沒(méi)有安全保障的屋子里，拿自己的生命開(kāi)玩笑，同理，網(wǎng)站也是如此！如果您現(xiàn)在的服務(wù)器不理想，有必要另選時(shí)，請(qǐng)暫時(shí)讓舊服務(wù)器能夠使用一段時(shí)間，并且做301跳轉(zhuǎn)，盡量減少更換服務(wù)器帶來(lái)的一系列損失。
二、人為操作失誤 對(duì)搜索引擎蜘蛛認(rèn)識(shí)不夠，對(duì)一些冒充搜索引擎spider的IP無(wú)法正確判斷，繼而誤封搜索引擎IP。這樣會(huì)導(dǎo)致搜索引擎不能成功抓取網(wǎng)站，無(wú)法成功抓取新網(wǎng)頁(yè)，以及將之前已經(jīng)成功抓取并收錄的頁(yè)面判定為無(wú)效鏈接，然后搜索引擎將會(huì)對(duì)這些死鏈接進(jìn)行清除，繼而網(wǎng)站頁(yè)面收錄減少，最終導(dǎo)致網(wǎng)站在搜索引擎的排名下降。
解決方法：正確認(rèn)識(shí)各搜索引擎蜘蛛，而搜索引擎使用的 IP 地址會(huì)隨時(shí)發(fā)生變化，為確保能夠正確識(shí)別各搜索引擎IP，您可以使用DNS反查方式來(lái)確定抓取來(lái)源的IP是否屬于正規(guī)搜索引擎，防止誤封。
例如查Baiduspider：在linux平臺(tái)下，您可以使用host ip命令反解ip來(lái)判斷是否來(lái)自Baiduspide的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即為冒充。
$ host 123.125.66.120
120.66.125.123.in-addr.arpa domain name pointer
baiduspider-123-125-66-120.crawl.baidu.com.
host 119.63.195.254
254.195.63.119.in-addr.arpa domain name pointer
BaiduMobaider-119-63-195-254.crawl.baidu.jp.
三、保護(hù)性的偶然封禁。
1、如果網(wǎng)站的訪問(wèn)量過(guò)大，超過(guò)自身負(fù)荷，服務(wù)器會(huì)根據(jù)自身負(fù)荷進(jìn)行保護(hù)性的偶然封禁。這種封禁是短暫性的，只要訪問(wèn)量下降到服務(wù)器的承受范圍之內(nèi)，那么服務(wù)器就會(huì)正常工作。
2、還有一種情況是spider造成的，搜索引擎為了達(dá)到對(duì)目標(biāo)資源較好的檢索效果，蜘蛛需要對(duì)您的網(wǎng)站保持一定量的抓取。搜索引擎會(huì)根據(jù)服務(wù)器承受能力，網(wǎng)站質(zhì)量，網(wǎng)站更新等綜合因素來(lái)進(jìn)行調(diào)整， 建立一個(gè)合理的站點(diǎn)抓取壓力。但是會(huì)有一些例外，在壓力控制不好的情況下，服務(wù)器會(huì)根據(jù)自身負(fù)荷進(jìn)行保護(hù)性的偶然封禁。
解決方法：1、如果是訪問(wèn)量造成的壓力，那么恭喜你，說(shuō)明你的網(wǎng)站已經(jīng)擁有可觀的訪問(wèn)人數(shù)，我們就應(yīng)該升級(jí)服務(wù)器，來(lái)滿足不段增長(zhǎng)的訪問(wèn)量。2、如果是spider造成的，我們可以采用如下方式來(lái)減輕spider對(duì)服務(wù)器產(chǎn)生的壓力：A、利用robots文件，屏蔽掉不想被spider抓取的頁(yè)面。B、采用nofollow標(biāo)簽，屏蔽不想被spider爬行的鏈接。C、頁(yè)面中較長(zhǎng)的CSS、JS代碼移到外部文件。D、刪減多余代碼。應(yīng)當(dāng)注意的是，以上兩種情況在返回的代碼中盡量不要使用404，建議返回503(其含義是“Service Unavailable”)。這樣spider會(huì)過(guò)段時(shí)間再來(lái)嘗試抓取這個(gè)鏈接，如果那個(gè)時(shí)間站點(diǎn)空閑，那它就會(huì)被成功抓取了。
最后，希望站長(zhǎng)盡量保持站點(diǎn)的穩(wěn)定，對(duì)于暫時(shí)不想被搜索引擎抓取的頁(yè)面，使用正確的返回碼告知搜索引擎，如果確實(shí)不想被搜索引擎抓取或者索引，可以寫(xiě)robots信息告知。
作者：奕杉其
來(lái)源：重慶seo
文章鏈接：本文來(lái)自http://www.137sv.com/seotechnique/27.html轉(zhuǎn)載請(qǐng)注明來(lái)源，并保留來(lái)源的完整性，謝謝。
推薦閱讀
北京SEO一個(gè)半月百度排名第四經(jīng)驗(yàn)分享
在搭建北京SEO，SEO韋迪歐博客之初，就和胖子(北京SEO胖子博客)說(shuō)過(guò)了，和他競(jìng)賽北京SEO排名，看自己多久能把北京SEO做上去，由于公司的事情也一直忙，偶爾寫(xiě)寫(xiě)原創(chuàng)文章，部分文章也是學(xué)生所寫(xiě)，意想不到的是不到一個(gè)>>>詳細(xì)閱讀
本文標(biāo)題：因服務(wù)器導(dǎo)致spider抓取失敗的原因
地址：http://www.sh-jijian.com/a/34/20120212/30137.html
網(wǎng)友點(diǎn)評(píng)
精彩導(dǎo)讀
科技快報(bào)
品牌展示