日韩欧美综合-国产色影院-黄色欧美大片-奶茶视频黄色-无码粉嫩虎白一线天在线观看-亚洲天堂手机在线-亚洲欧美日本在线-日本特级黄色-亚洲tv在线-婷婷激情综合-亚洲精品无-成人免费黄色-亚洲色图久久久-色噜噜狠狠狠综合曰曰曰-精品久久久精品-蜜臀av在线播放-国产美女高潮流白浆视频

　　Robots文件是網(wǎng)站和蜘蛛軌范之間的“正人和談”——robots文件不僅僅可以節(jié)約網(wǎng)站的資本，還可以輔佐蜘蛛加倍有用的抓取網(wǎng)，年夜而提高排名。

　　1：只許可谷歌bot

　　如不美觀要阻擋除谷歌bot之外的所有爬蟲：

　　User-agent：*

　　disallow：/

　　Uer-agent：許可的蜘蛛名

　　Disallow：

　　2：“/folder/”和“/folder”的區(qū)別

　　舉個(gè)例子：

　　User-agent：*

　　Disallow：/folder/

　　Disallow：/folder

　　“Disallow：/folder/”暗示阻擋的是一個(gè)目錄，該目錄文件下的所有文件不許可被抓取，可是許可抓取folder.hlml。

　　“Disallow：/folder”：對(duì)/folder/下的所有文件和folder.html都不能被抓取。

　　3：“*”匹配肆意字符

　　User-agent：*

　　暗示屏障所有的蜘蛛。當(dāng)我們做了偽靜態(tài)措置之后，會(huì)同時(shí)又動(dòng)態(tài)網(wǎng)頁和靜態(tài)網(wǎng)頁，網(wǎng)頁內(nèi)容一模一樣，視為鏡態(tài)頁面，所以我們要屏障失蹤動(dòng)態(tài)的網(wǎng)頁，可以用*號(hào)來屏障動(dòng)態(tài)的網(wǎng)頁

　　User-agent：*

　　Disallow：/?*?/

　　4：$匹配網(wǎng)址竣事

　　如不美觀要阻擋以某個(gè)字符串竣事的網(wǎng)址，就可以使用$，例如，要阻擋以.asp竣事的網(wǎng)址：

　　User-agent：*

　　Disallow：/*.asp$

　　也可以打開斗勁優(yōu)異的網(wǎng)站，看他們的robots文件是若何書寫的，然后按照自己的需求進(jìn)行響應(yīng)的改削。Robots文件可以讓蜘蛛把更多的時(shí)刻花在要抓取的內(nèi)容上，所以優(yōu)化robots文件是很有需要的。

　　本文來自東陽高復(fù)：http://mygaofu.com，轉(zhuǎn)載請注明鏈接