相信巨匠對(duì)于QQ空間robot文件的印象都是勾留在其屏障了百度搜索，百度無(wú)法抓取QQ空間的內(nèi)容。而比濫暌剮一篇文章《剖析QQ空間能否做百度關(guān)頭詞排名？》，文章說(shuō)今朝QQ空間上的內(nèi)容也可以被索引抓取，原因是騰訊QQ空間已經(jīng)解除了對(duì)于搜素引擎的robot屏障，這篇文章改變了筆者對(duì)于QQ空間Robot文件的觀點(diǎn)。筆者對(duì)此發(fā)生樂(lè)趣，于是對(duì)QQ空間的robot進(jìn)行了不雅察看，發(fā)現(xiàn)了QQ空間robot設(shè)置的一些小細(xì)節(jié)，如下圖所示。
在上圖我們確實(shí)可以看到今朝QQ空間已經(jīng)解除了對(duì)于搜索引擎的屏障。今朝所有的搜索引擎蜘蛛都可以對(duì)QQ空間進(jìn)行爬行抓取。而在Robot文件的最后一行筆者發(fā)現(xiàn)了一個(gè)小細(xì)節(jié)，筆者發(fā)現(xiàn)多寫了一行：sitemao：http://XXX.xml。很較著這是一個(gè)地圖文件。那么為什么QQ空間為什么要在最后一行寫上站點(diǎn)的網(wǎng)站地圖呢?要知道原因首先我們需要對(duì)robot文件進(jìn)行進(jìn)一步的體味。
作為seoer我們都應(yīng)該很清囂張robots文件的浸染是奉告搜索引擎蜘蛛我們站點(diǎn)上什么頁(yè)面是可以爬行什么頁(yè)面是禁止進(jìn)入的。當(dāng)搜索引擎蜘蛛進(jìn)入我們的站點(diǎn)，體味到這些信息后，它就可以按照信息把精神集中于我們?cè)S可爬行的頁(yè)面，提高頁(yè)面的爬行效率。而在這一過(guò)程中我們是否健忘了關(guān)頭的一點(diǎn)，那就是搜索引擎進(jìn)入我們的站點(diǎn)第一個(gè)接觸到的文件是什么?沒(méi)錯(cuò)就是robot文件。對(duì)此我們可以在這一點(diǎn)上在我們的robot上做文章來(lái)讓搜索引擎蜘蛛加倍有用率的爬行我們的站點(diǎn)，晉升站點(diǎn)的爬行率。
我們可以很確定的說(shuō)QQ空間在robot文件的最后寫上站點(diǎn)的地圖文件就是為了晉升搜索引擎對(duì)于站點(diǎn)的爬行率。當(dāng)搜索引擎蜘蛛進(jìn)入QQ空間后，首先尋找robot文件，當(dāng)在robot文件上就可以直接找到站點(diǎn)的地圖文件。年夜催促進(jìn)蜘蛛經(jīng)由過(guò)程地圖文件對(duì)我們的站點(diǎn)進(jìn)行加倍深而廣的爬行與索引。
對(duì)于這個(gè)小細(xì)節(jié)筆者一向都是處于輕忽的狀況，而作為QQ空寄這種年夜型的站點(diǎn)都放過(guò)這種小細(xì)節(jié)，我們的站點(diǎn)更需要注重，往往這些小細(xì)節(jié)可以締造出年夜的文章。但愿本文對(duì)于巨匠有所輔佐。
本文由巨型一號(hào)絲瓜水官網(wǎng)http://www.siguashui.cc/ 原創(chuàng)，轉(zhuǎn)載請(qǐng)保留出處。
網(wǎng)友點(diǎn)評(píng)
精彩導(dǎo)讀
科技快報(bào)
品牌展示