正如你所知道的，你不能總是依賴蜘蛛引擎在訪問或者索引你的網(wǎng)站時能夠十分有效的運作。完全依靠他們自己的端口，蜘蛛會產(chǎn)生許多重復(fù)內(nèi)容，把一些重要頁面當(dāng)成垃圾，索引本不應(yīng)該展示給用戶的鏈接入口，還會有其他的問題。有一些工具可以讓我們能夠充分控制蜘蛛在網(wǎng)站內(nèi)部的活動，如meta robots標(biāo)簽，robots.txt、canonical標(biāo)簽等。
今天，我講一下機器人控制技術(shù)使用的局限。為了讓蜘蛛不抓取某一個頁面，站長們有時會使用多個機器人控制技術(shù)， 來禁止搜索引擎訪問某個網(wǎng)頁。不幸的是，這些技術(shù)能有時互相抵觸：從另一方面說這樣的限制會把某些死鏈給隱藏掉了。
那么，當(dāng)一個頁面的robots文件中被禁止訪問，或者被使用noindex tag 和 canonical tag時會發(fā)生什么？
快速復(fù)習(xí)
在我們進入主題之前，讓我們看一下那些主流的robots的一些限制技巧吧：
元機器人標(biāo)簽
元機器人標(biāo)簽（Meta Robots Tag）為搜索引擎機器人建立頁面等級說明。元機器人標(biāo)簽應(yīng)放在HTML文件的頭部。
規(guī)范標(biāo)簽（canonical tag）
規(guī)范標(biāo)簽（canonical tag）是一個位于網(wǎng)頁HTML頭部的頁面等級的元標(biāo)簽。它告訴搜索引擎哪一個URL的顯示是規(guī)范的。它的目的是不讓搜索引擎抓取重復(fù)內(nèi)容，同時將重復(fù)頁面的權(quán)重集中在規(guī)范的那一個頁面上。
X機器人標(biāo)簽
自2007年以來，谷歌和其他搜索引擎已經(jīng)支持把X-Robots-Tag作為一種方法來告訴蜘蛛爬行和索引的優(yōu)先順序，X-Robots-Tag位于HTTP頭部，曾用于通知蜘蛛爬行和索引文件而用。該標(biāo)簽對控制那些非HTML文件的索引是很有用的，如PDF文件。
機器人標(biāo)簽
robots.txt允許一些搜索引擎進入網(wǎng)站內(nèi)部，但是它并不能保證具體某個頁面會不會被抓取和索引。除非出于SEO的原因，否則只有當(dāng)確實有必要或者在站點上有需要屏蔽的robots時robots.txt才確實值得使用。我總是推薦使用元數(shù)據(jù)標(biāo)簽“noindex”來代替它。
避免沖突
同時利用兩種方法來限制robot入口是不明智的：
· Meta Robots ‘noindex‘ （元機器人標(biāo)簽“noindex”）
· Canonical Tag （when pointing to a different URL） （標(biāo)準(zhǔn)標(biāo)簽）
· Robots.txt Disallow
· X-Robots-Tag（x機器人標(biāo)簽）
盡管你很想去保持頁面的搜索結(jié)果，但是一個辦法總是比兩個好。讓我們來看看當(dāng)在一個單一的URL中有很多robots路徑控制技術(shù)時會發(fā)生什么。
Meta Robots ’noindex‘ 和 Canonical標(biāo)簽
如果你的目標(biāo)是一個URL的權(quán)重傳遞給另一個URL，而你卻沒有其他的更好辦法的時候，那就只能用Canonical標(biāo)簽。不要用元機器人標(biāo)簽的“noindex”來給自己添麻煩。如果你使用兩個robot的方法，搜索引擎可能根本看不到你的Canonical標(biāo)簽。權(quán)重傳遞的效用將會被忽略，因為機器人的noindex標(biāo)簽會使它看不到Canonical標(biāo)簽！
Meta Robots ’noindex‘ & X-Robots-Tag ’noindex‘
這些標(biāo)簽是多余的。這兩個標(biāo)簽放置在同一個頁面我只能看到的是給SEO造成的不良影響。如果你能在元機器人‘noindex’中改變頭文件，你就不應(yīng)該使用x機器人標(biāo)簽吧。
Robots.txt Disallow &Meta Robots ’noindex‘
這是我看過的最常見的沖突：
我之所以青睞Meta Robots“noindex”的原因是因為它可以有效的阻止一個頁面被索引，同時它還還是可以傳遞權(quán)重到連接這個頁面的更深層次的頁面。這是一個雙贏的方法。
robots.txt文件不允許完全限制搜索引擎查看頁面上的信息（以及其中有價值的內(nèi)部鏈接），特別是不能限制url被索引。有什么好處？我曾經(jīng)單獨寫過一篇關(guān)于這個主題的文章。
如果兩個標(biāo)簽都使用，robots.txt保證會使Meta Robots ‘noindex’ 不被蜘蛛看到。你會受到robots.txt中disallow的影響并且錯過了所有的Meta Robots‘noindex’帶來的所有好處。
推薦閱讀
騰訊公布最新的數(shù)據(jù)顯示，手機 QQ 瀏覽器月 PV 超過了 1200 億，這也是首個 PV 破千億的第三方手機瀏覽器，而易觀數(shù)據(jù)顯示，手機 QQ 瀏覽器市場份額首次超越 UC 瀏覽器，位居市場第一。雖然不是下載量也不是安裝量，>>>詳細(xì)閱讀
本文標(biāo)題：避免蜘蛛爬行和索引錯誤的技巧:繞開沖突
地址：http://www.sh-jijian.com/a/34/20110915/11791.html
網(wǎng)友點評
精彩導(dǎo)讀
科技快報
品牌展示