分析網站日志是SEOer的必備技能，通過對網站日志進行分析，我們可以更加清楚的了解到搜索引擎對網站爬行抓取的情況，即何時何種搜索引擎抓取了哪個URL頁面以及搜索引擎是否抓取成功，抓取網頁的數據量是多殺等信息。通過對這些數據的整理分析，我們可以很清楚的了解到網站的運行狀態以及搜索引擎蜘蛛的爬行狀態，為后期的SEO操作提供數據基礎。

思維淺析

說到網站日志，很多新手都覺得這個太復雜了，表示自己看不懂，更得不出指導SEO操作的結論。這么說大都是由于不清楚網站日志數據的具體含義，以及不能正確的讀取網站日志文件所反映出的信息。

所謂的網站日志，并沒有想象中那么深奧，簡單的講就是記錄訪客訪問網站的軌跡和痕跡所產生的文件記錄，在這里搜索引擎蜘蛛對網站的抓取可以看成網站的一種特殊訪客。

01

在分析網站日志之前我們需要對日志文件的一些基本參數信息做個簡單了解。

#Software:表示軟件名稱
#Version: 表示版本號
#Date: 表示時間
#Fields：（這里對應的即是網站日志文件中記錄條目，各項參數的具體釋義如下）

date：發請求的日期。
time：發出請求時間。
c-ip：客戶端IP地址。
......

02

盡管網站日志中的參數很多，但對我們做SEO優化來說，需要關注的是ip地址、時間、時區、訪問路徑、http狀態碼、字節數訪問頁面、客戶端瀏覽信息等參數值。

03

示例：117.26.203.167 - - [02/May/2011:01:57:44 -0700] "GET/index.php HTTP/1.1" 500 19967 "-" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; AskTbCS-ST/5.11.3.15590; .NET CLR 2.0.50727; Alexa Toolbar)"（如果你的日志里格式不是如此，則代表日志格式設置不同）

117.26.203.167 訪問ip
02/May/2011:01:57:44 -0700 訪問日期 -時區（不同日志時間格式有所差異）
GET/index.php HTTP/1.1 根據HTTP/1.1 協議 抓取根目錄下index.php這個頁面（GET表示服務器動作，/代表根目錄）

注意：很多日志里可以看到 200 0 0和200 0 64 則都代表正常抓取。

04

在整個網站日志中如何區分哪些是普通訪客哪些是搜索引擎呢？很簡單，就是通過觀察日志記錄中表示訪問者信息的那一段進行區別。

百度官方給出的UA如下圖所示：

但需要注意的是盡管記錄中的UA與百度官方給出的UA相同，也可能是偽造的百度蜘蛛UA，因此可以使用IP反查確認是否為真實的百度蜘蛛訪問抓取網站。

通過DNS反查IP的方式判斷spider是否來自百度搜索引擎。根據平臺不同驗證方法不同，如linux/windows/os三種平臺下的驗證方法分別如下：

1）、在linux平臺下，使用host ip命令反解ip來判斷是否來自Baiduspider的抓取。
2)、在windows平臺或者IBM OS/2平臺下，使用nslookup ip命令反解ip來 判斷是否來自Baiduspider的抓取。打開命令處理器 輸入nslookup xxx.xxx.xxx.xxx（IP地 址）就能解析ip， 來判斷是否來自Baiduspider的抓取。
3）、 在mac os平臺下，您可以使用dig 命令反解ip來 判斷是否來自Baiduspider的抓取。打開命令處理器 輸入dig xxx.xxx.xxx.xxx（IP地 址）就能解析ip， 來判斷是否來自Baiduspider的抓取。

Tips：Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即為冒充。

分析網站日志是每一位SEOer的必備技能，通過網站日志可以更加清楚的了解到搜索引擎爬行抓取網站內容的情況，同時當網站出現被黑或者掛馬等情況，通過分析網站日志，也能快速的定位到可疑文件，幫助站長快速解決網站的安全隱患。