網(wǎng)站日志又稱(chēng)服務(wù)器日志，該日志是記錄網(wǎng)站服務(wù)器的請(qǐng)求信息，通過(guò)這個(gè)日志是可以看到哪些蜘蛛程序抓取過(guò)網(wǎng)站，什么時(shí)間抓取的網(wǎng)站，以及抓取了網(wǎng)站的什么頁(yè)面，是否抓取成功。

我們的網(wǎng)站日志放在服務(wù)器的空間里，一般都是以.log文件結(jié)尾，不同的服務(wù)器記錄的時(shí)間不一樣，有一周、三天、一個(gè)月等等的時(shí)限。

上圖是保存日志的文件夾

網(wǎng)站日志文件(.log結(jié)尾)

上圖是用記事本打開(kāi)后，該服務(wù)器只記錄三天的日志。

上文已經(jīng)對(duì)網(wǎng)站日志的一些常識(shí)和存儲(chǔ)的位置做了了解，下面我們用分析軟件(光年日志分析工具點(diǎn)擊下載)來(lái)分析網(wǎng)站日志。

概要分析可以看出哪些蜘蛛來(lái)抓取過(guò)網(wǎng)站抓取過(guò)幾次

目錄抓取

頁(yè)面抓取

分析到這里的時(shí)候，要注意觀察哪個(gè)目錄抓取的最多，多在經(jīng)常被抓取的目錄里發(fā)布內(nèi)容，有利于收錄。

如果每天抓取的內(nèi)容比較少，那么就需要加大網(wǎng)站內(nèi)容的更新來(lái)吸引蜘蛛。

關(guān)鍵字分析指的是用戶(hù)通過(guò)搜索什么詞進(jìn)入到你網(wǎng)站的，這個(gè)工具分析的不夠精準(zhǔn)，如果想要了解，建議去百度統(tǒng)計(jì)中的來(lái)源分析-搜索詞中查看，這里不多做介紹。

這里的狀態(tài)碼我們決定不了，但我們要了解相應(yīng)的狀態(tài)碼做好相應(yīng)的對(duì)策。

1、404，如果出現(xiàn)404那說(shuō)明是進(jìn)入了錯(cuò)誤頁(yè)面，需要制作一個(gè)404頁(yè)面，檢查一下站內(nèi)的死鏈接有的話需刪除或修改為正確的鏈接。

2、304，出現(xiàn)304表明的是網(wǎng)站長(zhǎng)期不更新，需要更新內(nèi)容。

3、200，表明網(wǎng)站沒(méi)問(wèn)題，成功返回頁(yè)面。

4、301，302，前者是網(wǎng)址做了永久重定向，后者是做了臨時(shí)重定向。

5、403，服務(wù)器的文件拒絕請(qǐng)求訪問(wèn)。

6、502，如果出現(xiàn)502那么表明服務(wù)器內(nèi)部錯(cuò)誤，經(jīng)常出現(xiàn)建議更換服務(wù)器(服務(wù)器不穩(wěn)定)。