一直以來，總認為小網(wǎng)站的結(jié)構(gòu)非常簡單，頁面數(shù)量非常少，一般情況下搜索引擎是可以輕而易舉的抓取和收錄，加上關(guān)鍵詞并不是特別熱門，所以不用三天兩頭的查看網(wǎng)站日志。但是后來發(fā)現(xiàn)，事實并非如此：網(wǎng)站雖小并不代表沒有問題，結(jié)構(gòu)簡單并不等于完全收錄，也不等于容易獲得好的排名。
網(wǎng)站日志是記錄服務(wù)器的日常動態(tài)，特別是搜索引擎爬行和抓取的動態(tài)，通過日志能很清晰的分析出來�？纯从卸嗌�304，多少404，看看哪些頁面被過渡抓取，哪些始終沒有被爬行，每個頁面的平均抓取時間，蜘蛛每次訪問網(wǎng)站的抓取深度，蜘蛛每天到訪網(wǎng)站的次數(shù)等等，這些都能直接反應(yīng)網(wǎng)站目前的問題。
訪問次數(shù)側(cè)面反應(yīng)權(quán)重
蜘蛛訪問網(wǎng)站的次數(shù)能側(cè)面反應(yīng)出網(wǎng)站自身的權(quán)重，一般小網(wǎng)站單個蜘蛛每天來訪的次數(shù)大概在幾十次。如果高于幾十次，那么說明通過鏈接爬行到網(wǎng)站上的次數(shù)較多，那么抓取收錄的機會就會大一些，最終對排名也是有積極的影響。如果每天來訪一兩次甚至零次，那么網(wǎng)站非常危險。
404頁面降低整體權(quán)重
每個網(wǎng)站或多或少的都有404錯誤頁面，這是不可避免的現(xiàn)象。有時候是空間上本身問題，有時候是自身網(wǎng)站的設(shè)置問題，有時候是外部網(wǎng)站存在外部鏈接的問題，從日志中一旦發(fā)現(xiàn)，就應(yīng)該立刻調(diào)整。如果是抓取某個URL404特別多的話，需要在網(wǎng)站上建立這樣一個URL頁面，有效的利用，也可以修改robots文件給予屏蔽，禁止抓取。大量的404錯誤會被蜘蛛記錄下來，對網(wǎng)站是減分印象，所以會從整體上降低網(wǎng)站的權(quán)重。
根據(jù)抓取排行做調(diào)整
在很多網(wǎng)站日志中，都能清晰的看到頁面的抓取排行，URL的抓取排行，這些排行最能直接的反應(yīng)網(wǎng)站的那些部分是最受蜘蛛歡迎的。如果出現(xiàn)了很多css或js的文件都被大量的訪問，那么頁面中這樣的鏈接就大大浪費了權(quán)重，所以需要修改robots文件給予禁止。查看有些網(wǎng)站的日志，能明顯的看到那些被過渡抓取，那些重點內(nèi)容抓取的較少，這樣觀察之后就能做到心中有數(shù)，可以有的放矢。比如之前我的網(wǎng)站會莫名奇妙的多出一些抓取文件夾，而這些文件夾在網(wǎng)站中是并不存在的，所以要及時發(fā)現(xiàn)，并給予屏蔽。
另外，也偶爾也會出現(xiàn)一些500、206等狀態(tài)碼，這些都是日常的一些小問題引起的，不必過于擔心。而如果大量集中的出現(xiàn)就說明服務(wù)器本身有問題，另外在根目錄中盡量不要放置壓縮文件，這樣會被一些別有用心的人嘗試下載網(wǎng)站的源碼或者備份的數(shù)據(jù)。還有助于304狀態(tài)碼，這個說明也正常，是網(wǎng)站沒有更新造成的。
定期查看網(wǎng)站的日志其實并不會占用我們太多的時間，但如果一直不查看，網(wǎng)站就會有很多的小問題我們無從知曉，或許友情連接我們做了，原創(chuàng)內(nèi)容也更新了，外部鏈接也不停在發(fā)，但是排名卻一直非常緩慢，那么這個時候就不妨看看你的日志，說不定問題就出在這里邊。
本文就到這里吧，膜法世家http://1908.sfwhy.com供稿，A5首發(fā)，轉(zhuǎn)載請尊重作者勞動成果，謝謝!
網(wǎng)友點評
精彩導(dǎo)讀
科技快報
品牌展示