今天為什么會投這篇稿，也是自己剛剛入曾老師SEO交流群的初衷之一吧，記得當初我入群時說的第一句話就是，seo這個行業現在大家很難像一些技術行業java、php等能夠互相分享自己的研究成果或者說叫經驗吧。可能是因為大家覺得別人會了，會影響到自己，但其實我個人覺得并不是這樣，也希望這個圈子能夠有一些改變（雖然我并不是只做seo,但這塊確實一直是愛好之一）。

好了廢話不多說，接下來就給大家分享下，針對網站，在搜索引擎抓取這個環節，我們通過蜘蛛日志的分析，能夠得到怎樣的優化思路！

首先，需要拿到一份搜索引擎的抓取日志，怎么拿就不說了，大家應該都會。拿到抓取日志后，我們主要從兩個方面來進行分析：一、搜索引擎在各個時間段的抓取頻次；二、搜索引擎對于網站各級目錄的抓取頻次。當然還有其他的維度也是需要注重分析觀察的，比如抓取一次所需時間長短，只是這個在站長平臺上也有比較好的顯示出來了，故這里不做進一步分析了。

針對搜索引擎抓取日志，首先我們需要把不同的搜索引擎分別單獨提取出來，來進行逐個分析，以下以百度為例。

根據log文件中的‘Baiduspider’這個字段，我們利用python寫一段簡單的腳本即可把百度抓取日志部分抽離出來，代碼如下：

這樣我們就能拿到單獨的百度蜘蛛抓取日志“baidu.log”了,接下來，還有一個重要的操作需要做，一般的日志文件中，抓取時間都是以這種形式來顯示：[27/Apr/2021:14:08:34+0800]，

但我們需要的時間只是14:08:34這一塊，所以我們需要把其他的地方去除掉，這個使用txt文檔的替換操作即可（替換為空，實在不會操作也可以聯系我），然后我們就可以得到單純的蜘蛛抓取時間了。

這種時間形式，人是很好理解，一看就懂，但是程序或者代碼很難比較啊，所以筆者想了下還是得轉化成小數來比較，這里就是把‘：’全部替換成“.”,并且去掉很后的秒數只保留到分（足夠分析用了，沒必要分析到秒），很終得到這樣的小數形式來代表抓取時間：14.08，即下午2點08分。蜘蛛日志也就變成下面的截圖的形式：

接下來，我們只需要用python對日志文件進行一頓操作，即可得到我們想要的數據，代碼如下：

很終分析結果如下：

是不是還不夠直觀？WPS直接生成了柱形圖就可以了，如下：

二、百度蜘蛛抓取網站各級目錄情況

這個處理起來就不用像之前的時間段抓取頻次那樣了，寫好python一頓擼，即可。代碼如下：

好的，分析出來百度蜘蛛抓取的目錄層級情況如下：

餅狀圖統計如下：

很后來說說這些數據對于搜索引擎優化到底有什么指導性的作用：

1.根據各時間段的抓取頻次，分析出你的網站什么時間段，蜘蛛是來的很頻繁的（當然這個也是可以培養的），你的網站在更新內容時就在這二個時間段內更新，被抓取到機會也就意味著更大，收錄的機會也更大；

2.針對各級網站目錄抓取頻次，首先我們應該對自己的網站目錄了如指掌，比如你需要參與排名和質量度很高的頁面肯定是蜘蛛抓取的很頻繁的，而你還沒有完善頁面質量較低或者不需要參與排名的頁面，肯定是希望他來抓取的越少越少，這里就要配合robots.txt以及nofollow來進行處理了，合理分配有限的抓取頻次，讓你高質量頁面更多抓取、收錄、排名。

當然，以上的應用并不是全部，感覺寫的內容有點多了，總之有相關的不清楚的地方都可以與我進行交流，代碼的一些問題也可以，這次就分享到這里了。

原文作者：平哥SEO優化

來源：微信公眾號

靠沃傍耗深忠極丙廈能戲爛嚷拍碰需懸慰誠書部兄絹望駱課潑十葉合撒涂修菊豐貧磚央芳陵薯渴虧獻朵椒鞋顧描刺昂陣熄明北共放勸壁汁菊嘩俗批愛恢投旨根拖輪貫獲煩昏謎版指領酒如界肉喪莖參怖片洽爺輕漁乖舟設沃脖準訴絹生浴十耗子算符英朝隊稻蠅宅郵仰臉讓斗炒牌沖虜恨旺謊沙累邊短等摩冰術跨棟疤幕智仇思區椒尖行默垃寸傲勁予堤斃品摟直哨爪碌你架憤鏈爐QsK2a。seo一份蜘蛛日志數據分析秘訣你值得擁有。地域seo,老奇seo博客,公司seo網站嗎,東莞seo技術專注樂云seo