搜索引|擎Spider對網(wǎng)站的抓取情況，應(yīng)該是最值得SEO人員研究的內(nèi)容。但是很多SEO人員面對已經(jīng)在日志中提取出來的搜索引擎抓取記錄，并不知道需要分析什么。這里簡單討論一下Spider對網(wǎng)站的抓取情況都有哪些方面是值得分析的，以及分析出的結(jié)果是如何指導(dǎo)SEO工作的。
Spider的抓取數(shù)據(jù)可以分析:Spider對整個網(wǎng)站的抓取頻率、Spider對重要頁面的抓取頻率、Spider對網(wǎng)站內(nèi)容的抓取分布情況、Spider對各種類型網(wǎng)頁的抓取情況、Spider對 網(wǎng)站的抓取狀態(tài)碼情況等。

1. 通過分析Spider對整個網(wǎng)站的抓取頻率的趨勢，可以簡單了解網(wǎng)站在搜索引擎眼中的質(zhì)量。如果網(wǎng)站沒有進(jìn)行過大幅度的變動，并且內(nèi)容正常更新，搜索引擎的抓取頻率卻逐漸或突然大幅度降低，不是網(wǎng)站運行出現(xiàn)錯誤，就是搜索引擎認(rèn)為網(wǎng)站質(zhì)量出現(xiàn)了問題;如果搜索引擎的抓取頻率突然增大，可能是網(wǎng)站有404之類的頁面引起了Spider的集中重復(fù)抓取;如果搜索引擎的抓取頻率逐漸增大，可能是隨著網(wǎng)站內(nèi)容的逐漸增多，權(quán)重的逐漸積累，而獲得的正常抓取。持平和平緩的變動不足為奇，如果出現(xiàn)大幅度的變動，就需要引起足夠的重視了。
2. (2)通過分析Spider對重要頁面的抓取規(guī)律，可以輔助網(wǎng)頁內(nèi)容更新頻率的調(diào)整。一般搜索引擎Spider會對站內(nèi)的重要頁面進(jìn)行高頻度的抓取，這類頁面一般不會是內(nèi)容頁，而是首頁、列表頁或者擁有大量外鏈的專題頁。在網(wǎng)站中有很多種此類抓取頻率非常大的頁面，比如前面所說的網(wǎng)站首頁、目錄頁和專題頁。在網(wǎng)站中往往還會有其他更多類型的聚合頁同樣有著比較大的抓取頻率。尤其是網(wǎng)站的首頁，很多網(wǎng)站的首頁每天都會得到搜索引擎成千上萬次的抓取，但是不少網(wǎng)站首頁上更新的鏈接很少，有些浪費了首頁本身權(quán)重所帶來的Spider高抓取頻率。在不影響SEO關(guān)鍵詞密度和布局的前提下，SEO人員可以充分利用這部分資源，來使網(wǎng)站內(nèi)所有的新內(nèi)容都被搜索引擎及時發(fā)現(xiàn)，也減少搜索引擎的無效抓取。雖然現(xiàn)在通過百度站長平臺的sitemap工具，可以直接把站內(nèi)的URL提交給百度，并不需要太過擔(dān)心百度發(fā)現(xiàn)不了網(wǎng)站內(nèi)新內(nèi)容的問題，但是現(xiàn)在也有部分網(wǎng)站是沒有sitemap提交權(quán)限的，并且這種通過頁面發(fā)現(xiàn)鏈接的形式還會帶有-定的權(quán)值傳遞。眾所周知，網(wǎng)頁的收錄與否，除取決于網(wǎng)頁內(nèi)容的質(zhì)量外，與網(wǎng)頁所獲得的外鏈和網(wǎng)頁的權(quán)重也是有關(guān)系的，所以以上分析和改進(jìn)還是值得進(jìn)行的。
3. 分析Spider對網(wǎng)站內(nèi)容的抓取分布情況。每個網(wǎng)站都會分出一些不同的頻道，可能大家感覺在網(wǎng)站內(nèi)鏈和外鏈的建設(shè)中并沒有特別的偏向，或者為某個頻道做了很多鏈接，就認(rèn)為該頻道應(yīng)該會得到搜索引擎的青睞，但是事實可能不是這樣的。Spider對 網(wǎng)站內(nèi)容抓取分布情況的分析-般會結(jié)合網(wǎng)站的收錄數(shù)據(jù)，分析網(wǎng)站各頻道內(nèi)容的更新量、搜索引擎收錄量和Spider對各頻道的每日抓取量是否成正比。

                如果某個頻道的搜索弓|擎收錄不佳，首先就要分析搜索引|擎對該頻道的抓取是否正常。比如分析百度對網(wǎng)站各頻道的抓取情況，可以使用光年SEO日志分析系統(tǒng)先把百度的抓取記錄提取出來，然后使用該工具對提取出來的日志進(jìn)行分析。

4. 分析Spider對站內(nèi)各類頁面的抓取情況。不同網(wǎng)站都有著自己不同的網(wǎng)頁類型，這里進(jìn)行舉例說明。在大眾網(wǎng)站中-般首頁、目錄頁、文章頁，目錄頁和文章頁可能會有分頁，但是經(jīng)過分析百度Spider的抓取記錄后，可能會發(fā)現(xiàn)百度Spider幾乎不怎么抓取分頁，不論是列表分頁還是文章分頁。
5. 分析Spider對網(wǎng)站的抓取狀態(tài)碼情況。除了上面所提到的注意網(wǎng)站異常的狀態(tài)碼，還應(yīng)該留意Spider對網(wǎng)站的抓取記錄中是否還有其他不常見的狀態(tài)碼出現(xiàn)。