近期筆者對年夜約50多位剛年夜事或已經(jīng)年夜事1-2年的seoer做了個小發(fā)芽拜訪，其中搜羅良多面試者，真正在工作中能剖析到日志的seoer比例很是很是的少，在問到訪謁日志在seo所起到的浸染，良多seoer都直搖頭，或者僅僅知道一些皮短處未親手操作過，其首要原因仍是在公司平臺中并文暌剮機緣去實踐，下面筆者分享下自己對網(wǎng)站原始訪謁日志的熟悉：
什么是訪謁日志
網(wǎng)站訪謁日志是記實web處事寡領受措置請求以及運行時錯誤等各類原始信息的以.log結尾的文件，切當?shù)闹v，應該是處事器日志。它的浸染是讓我們seoer可以清囂張的得知用戶在什么IP、什么時刻、用什么操作系統(tǒng)、什么瀏覽器、什么分辯率顯示器的情形下訪謁了你網(wǎng)站的哪個頁面，是否訪謁成功。
什么時辰我們需要去剖析日志及日志特征
我們會天天都去剖析日志嗎?不會的，因為日志剖析斗勁死板，一般都是每月或者半月剖析一次。這種剖析屬于日常剖析，如不美觀您的網(wǎng)站一向都斗勁正常那可以每月剖析一次，或者可以簡單的剖析一次。
其實日志更多是在網(wǎng)站呈現(xiàn)異常的時辰，會不雅察看半個月日志，集平剖析蜘蛛的動向。好比會剖析是不是網(wǎng)站404，robots設置異�；蛘邟祚R等問題造成蜘蛛消逝蹤，逐兒去查找解決問題。
下面是年夜筆者日常剖析的日志中取的一條訪謁記實：
119.254.22.200 - - [10/Apr/2012:00:04:54 +0800] "GET /bbjk/index.html HTTP/1.0" 200 25269 "-" "Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)"
119.254.22.200 為用戶訪謁ip
10/Apr/2012:00:04:54 +0800 為訪謁日期 -時區(qū)
GET /bbjk/index.html HTTP/1.0 按照HTTP/1.1 和談 抓取(域名下)/bbjk/index.html 這個頁面(GET暗示處事器動作)
200 處事器響應狀況碼
25269 為頁面字節(jié)數(shù)。
Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07) 為搜狗蜘蛛特征。
注重：任何蜘蛛都僅僅為網(wǎng)站的通俗用戶。不要覺得蜘蛛很是的強年夜，良多人還認為網(wǎng)站若禁止登錄查看內容，蜘蛛都能爬取上岸后的頁面內容，這是不成能的。除非網(wǎng)站做了蜘蛛專屬手段。
怎么去剖析網(wǎng)站訪謁日志
曾記得在幾年前，筆者剛接觸seo的時辰，工具稀少的年月，標識表記標幟一向都喜歡手工
去剖析訪謁日志，當然手工剖析很費時吃力，再這里只講解下筆者最喜歡手工剖析日志中的幾點。
筆者此刻手工剖析一般都集中在研究每日蜘蛛在網(wǎng)站上爬行紀律與網(wǎng)站更新數(shù)據(jù)之間的關系。當然每個網(wǎng)站需按照自己來不雅察看，最后會有一個很是完美的紀律。
筆者會把每日的蜘蛛訪謁時刻按時刻段排序統(tǒng)計成報表，
好比：2012-4-18 1-2點爬行5次
2-3點爬行3次
3-4點爬行10次
如不美觀你細心的話可以做個走勢圖就很是直不美觀。這種統(tǒng)計一般都是在網(wǎng)站剛成立后和網(wǎng)站出異常后增強剖析日志，日常運營中，更多注重的是剖析出蜘蛛每日的爬行紀律然后按時的放出充量文章，增添收錄。
手工剖析日志都是斗勁死板的，有時會影響神色，不外此刻工具興旺的年月，我們也借助工具來達到事半功倍。
筆者斗勁舉薦的是光年日志剖析工具。該工具很是簡單，筆者不在此演示，有樂趣的自己百度，它的利益在于能在生成的陳述中清楚的告訴我們蜘蛛爬行異常，與頁面抓取痕跡。好比404. 獨一遺憾的是今朝筆者還未找到一款工具帶有剖析蜘蛛爬行紀律生成走勢圖的工具。
注重：在日志剖析中，良多時辰我們都是想年夜日志中尋找到問題，以便改良我們的自身的問題，所以需要出格關注404,301等狀況碼。
真假蜘蛛分辯
為什么會呈現(xiàn)真假蜘蛛，主若是因為此刻信息興旺，良多采集工具為不讓對方發(fā)現(xiàn)自己的痕跡都模擬蜘蛛的痕跡來下載數(shù)據(jù)源。所以會造成良多seoer誤認為蜘蛛年夜量的抓取頁面卻發(fā)現(xiàn)收錄并未增添的現(xiàn)象。下面筆者告訴巨匠斗勁輕易辨當真假蜘蛛和一些出格注重的處所。
1， 真蜘蛛
220.181.108.96 - - [07/Apr/2012:01:22:21 +0800] "GET /site/sex/index.php HTTP/1.1" 302 20 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"
這是筆者某網(wǎng)站的日志片段，我拿出ip，在win系統(tǒng)下cmd登錄dos框下輸入nslookup 220.181.108.96 查看回顯：
如上圖，若是百度蜘蛛，他會直接回顯百度的域名。
2， 假蜘蛛
假蜘蛛斗勁經(jīng)典的就是chinaz的發(fā)芽工具了，他就是模擬百度蜘蛛的，他的ip為125.90.88.96 我們反查后并未呈現(xiàn)百度域名。有樂趣的可以nslookup 125.90.88.96下，筆者就一直圖了。
一般假蜘蛛的存在形式為：XXX.XXX.XXX.XXX - - [07/Apr/2012:01:22:21 +0800] "GET /site/sex/index.php HTTP/1.1" 302 20 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"
看著跟真的一樣，唯獨ip就是貓膩！
3， 奸細作況的蜘蛛
1) cdn加速后，造成ip雜亂。
此類情形呈現(xiàn)一般是網(wǎng)站在做了cdn加速后，再去查看apache處事器的訪謁日志的時辰發(fā)現(xiàn)良多蜘蛛的痕跡ip都很是的近似，如不美觀按照百度官方出的分辯手法nslookup ip 后必定為匿名，因為這些ip都是cdn節(jié)點ip，所以會造成曲解。若開啟cdn后，蜘蛛現(xiàn)實訪謁次數(shù)一般都<=日志中蜘蛛總數(shù)值。
2) 百度匿名蜘蛛的存在性談判。
匿名蜘蛛？百度工程師lee一向強調百度蜘蛛是不會匿名去訪謁網(wǎng)站的，但筆者年夜網(wǎng)上查閱資料，加上筆者某個站的數(shù)據(jù)猜測，筆者認為會有兩種情形:
第一種：假如真的存在匿名蜘蛛，這很較著與lee的話有悖。所以這點我們可以去辯證的去理解，假如存在，匿名蜘蛛會做什么，良多seoer包短文者都猜測可能會存在用此類蜘蛛去驗證網(wǎng)站是否對蜘蛛與用戶做了分歧的待遇。所以此種情形，做賊就不要心虛嘛，老誠懇實做站吧。
推薦閱讀
信用卡非法套現(xiàn)約7成發(fā)生在第三方支付平臺
>>>詳細閱讀
本文標題：<b>小蘇:由淺到深再談網(wǎng)站原始訪問日志分析</b>
地址：http://www.sh-jijian.com/a/22/20120418/52246.html
網(wǎng)友點評
精彩導讀
科技快報
品牌展示