91入口在线观看,免费看的一级片

　　robots.txt文件，相比朋友們都或多或少的聽說(shuō)過，也可能自己已經(jīng)寫過了。其實(shí)到目前為止我本人還沒寫過robots.txt文件，不是不會(huì)寫，只是感覺博客中沒什么內(nèi)容需要阻止蜘蛛抓取的。而且想必大家也知道一個(gè)個(gè)人獨(dú)立博客中出現(xiàn)死鏈接的概率應(yīng)該是非常小的，不需要過多的進(jìn)行死鏈接處理所以我感覺沒什么必要。但是robots.txt文件寫法作為個(gè)人站長(zhǎng)的必須掌握的技能之一，其用處還是很廣泛的。這里就詳細(xì)介紹下，也算是自己溫習(xí)溫習(xí)。

　　什么是robots.txt文件

　　我們從這個(gè)文件名來(lái)看，它是.txt后綴名的，大家也應(yīng)該知道這是一個(gè)文本文件，也就是記事本。robots，懂點(diǎn)英語(yǔ)的人應(yīng)該都人士，是機(jī)器人的意思，對(duì)我們而言這個(gè)機(jī)器人代表的就是搜索引擎機(jī)器人，從名字上就可以猜到這個(gè)文件是我們專門寫給蜘蛛看的。它的作用就是告訴蜘蛛，那些欄目或者是那些頁(yè)面不需要抓取，當(dāng)然也可以直接屏蔽掉某個(gè)蜘蛛的訪問。注意，這個(gè)文件是放在網(wǎng)站根目錄下的，這樣才能保證蜘蛛可以在第一時(shí)間讀取文件內(nèi)容。

　　robots文件的作用

　　其實(shí)robots文件最常被我們用到的就是屏蔽網(wǎng)站內(nèi)的死鏈接。大家應(yīng)該知道一個(gè)網(wǎng)站死鏈接多了會(huì)影響網(wǎng)站的權(quán)重。但是網(wǎng)站死鏈接清理雖然說(shuō)不上是麻煩，還是需要花上不少時(shí)間的，特別是如果站內(nèi)死鏈接較多的情況下，清理起來(lái)很費(fèi)勁，這時(shí)候robots文件的用處就體現(xiàn)出來(lái)了，我們可以直接將這些死鏈接按照格式寫入文件中阻止蜘蛛抓取，想清理的或以后在慢慢清理。有些網(wǎng)站內(nèi)容中包含一些站長(zhǎng)不想讓蜘蛛抓取的url或文件，也可以直接屏蔽。對(duì)于屏蔽蜘蛛，用到的一般都比較少。

　　robots文件的寫法

　　這一點(diǎn)應(yīng)該是比較重要的了。如果寫錯(cuò)了想屏蔽的沒成功，想被抓取的卻寫進(jìn)去自己不能及時(shí)發(fā)現(xiàn)可就虧大了。首先我們要知道兩個(gè)標(biāo)簽，Allow和Disallow，一個(gè)是允許，一個(gè)是不允許，它的作用相比大家也都能理解。

　　User-agent: *

　　Disallow:

　　或者

　　User-agent: *

　　Allow:

　　這兩段內(nèi)容表示的都是允許抓取所有，實(shí)際上屏蔽url和文件用到的是Disallow標(biāo)簽，除非你的網(wǎng)站只有幾條想要被抓取采用Allow標(biāo)簽。這個(gè)User-agent：后面跟的就是蜘蛛名稱，大家對(duì)主流的搜索引擎蜘蛛名稱應(yīng)該比較熟悉。下面以搜搜蜘蛛為例：Sosospider。

　　當(dāng)我們想屏蔽搜搜蜘蛛的時(shí)候：

　　User-agent: sosospider

　　Disallow: /

　　大家可以發(fā)現(xiàn)這個(gè)屏蔽蜘蛛跟上面允許相比只是多了一個(gè)“/”，其含義就起了翻天覆地的變化，所以在書寫的時(shí)候要千萬(wàn)注意，可不能因?yàn)槎鄬憘€(gè)斜杠屏蔽了蜘蛛自己卻不知道。還有就是在user-agent：后邊不屑固定蜘蛛名稱跟的如果是“*”表示是針對(duì)所有蜘蛛的。

　　禁止某個(gè)目錄被搜索引擎蜘蛛抓取，設(shè)置代碼如下：

　　User-agent: *

　　Disallow: /目錄/

　　注意，這里如果是阻止抓取某目錄的話目錄名字一定要注意“/”，不帶“/”表示的是阻止訪問這個(gè)目錄頁(yè)面和目錄下的頁(yè)面，而帶上“/”則表示進(jìn)阻止目錄下的內(nèi)容頁(yè)面，這兩點(diǎn)要分清楚。如果是想屏蔽多個(gè)目錄就需要采用

　　User-agent: *

　　Disallow: /目錄1/

　　Disallow: /目錄2/

　　這樣的形式，不能采用 /目錄1/目錄2/ 這樣的形式。

　　如果是阻止蜘蛛訪問某一類型的文件，例如阻止抓取.jpg格式的圖片可以設(shè)置成：

　　User-agent: *

　　Disallow: .jpg$

　　以上是上海seo小馬針對(duì)整個(gè)網(wǎng)站的robots文件的寫法，只是講的robots寫法的類型和注意事項(xiàng)，像針對(duì)性屏蔽蜘蛛或者是其他的具體寫法描述的少了點(diǎn)，但是知道allow和disallow的含義進(jìn)行思考可以衍生出不少其他的寫法含義。還有針對(duì)具體網(wǎng)頁(yè)的robots meta網(wǎng)頁(yè)標(biāo)簽寫法，不過一般情況下用的不是很多。

　　以上由上海seo小馬http://www.mjlseo.com/整理，轉(zhuǎn)載請(qǐng)注明，謝謝

我們?cè)诰W(wǎng)站優(yōu)化過程中，或多或少都會(huì)遇到快照回檔的問題。通常，網(wǎng)站的快照是衡量一個(gè)網(wǎng)站權(quán)重高低的標(biāo)準(zhǔn)，但這并不是決定性的因素。影響網(wǎng)站好壞的還有網(wǎng)站收錄量和PR值。人們?cè)趯ふ矣亚殒溄拥臅r(shí)候通常都是看網(wǎng)站的>>>詳細(xì)閱讀

本文標(biāo)題：淺談網(wǎng)站優(yōu)化robots.txt文件的寫法

地址：http://www.sh-jijian.com/a/34/20120224/33996.html

1/2 1 2 下一頁(yè)