日志文件分析用于SEO的8種可行方法

在本篇文章中，我們將介紹什么是日志文件，它們為何如此重要，要尋找的內容以及使用哪些工具。很后，我將提供8種可行的方法來分析SEO優化。

服務器日志是由服務器自動創建和維護的日志文件（或多個文件），由它執行的活動列表組成。

出于SEO的目的，我們關注一個Web服務器日志，其中包含來自人類和機器人的網站頁面請求的歷史記錄。有時也稱為訪問日志，原始數據如下所示：

是的，起初數據看上去有點令人不知所措，令人困惑，所以讓我們分解一下，更仔細地看一下“命中”。

每個服務器在記錄命中方面都有本質上的不同，但是它們通常會提供類似的信息，這些信息被組織成字段。

以下是對ApacheWeb服務器的示例命中（這是簡化的-一些字段已被刪除）：

50.56.92.47––[25/5/2020：12：21：17+0100]“GET”–“/wp-content/themes/esp/help.php”–“404”“-”“Mozilla/5.0（兼容；Googlebot/2.1；+：//––

如您所見，對于每次匹配，我們都會獲得關鍵信息，例如日期和時間，請求的URI的響應代碼（在本例中為404）以及請求來自的用戶代理（在本例中為Googlebot））。您可以想象，日志文件天天由成千上萬的點擊數組成，每當用戶或漫游器到達您的網站時，就會為請求的每個頁面記錄許多點擊數-包括圖像，CSS和呈現該文件所需的任何其他文件。

所以您知道什么是日志文件，但是為什么值得花時間分析它們？

好吧，事實是，只有一個真實的記錄可以說明搜索引擎（例如Googlebot）如何處理您的網站。那就是通過查看網站的服務器日志文件。

站長工具，第三方爬蟲和搜索操作員不會全面了解搜索引擎如何與網站互動。只有訪問日志文件可以為我們提供此信息。

日志文件分析為我們提供了大量有用的見解，包括使我們能夠：

正確驗證可以或不能爬取的內容。查看搜索引擎在其搜尋期間碰到的響應，例如302，404，軟404。識別爬網缺陷，這些缺陷可能具有更廣泛的基于站點的含義（例如層次結構或內部鏈接結構）。查看搜索引擎優先考慮哪些頁面，并可能將其視為很重要的頁面。發現搜尋預算浪費的區域。

我將帶您完成在日志文件分析期間可以執行的一些任務，并向您展示它們如何為您提供可操作的網站見解。

對于這種類型的分析，您需要來自您域的所有Web服務器的原始訪問日志，而沒有應用任何過濾或修改。理想情況下，您需要大量數據才能使分析有價值。值得多少天/周取決于站點的大小和權限以及所產生的流量。對于某些站點，一周可能就足夠了，對于某些站點，您可能需要一個月或更長時間的數據。

您的Web開發人員應該能夠為您發送這些文件。值得一問，在它們發送給您之前，日志是否包含來自多個域和協議的請求，以及這些請求是否包含在此日志中。因為否則，將阻止您正確識別請求。您將無法分辨對和://example.com/的請求之間的區別。在這種情況下，您應該要求開發人員更新日志配置，以在將來包含此信息。

假如您是Excel專家，那么本指南對于幫助您使用Excel格式化和分析日志文件非常有用。我們使用ScreamingFrog日志文件分析器，其友好的用戶界面使您可以快速，輕松地發現任何問題（盡管可以說，您獲得的深度或自由度與使用Excel所獲得的不一樣）。我將為您介紹的所有示例都是使用ScreamingFrog日志文件分析器完成的。其他一些工具是Splunk和GamutLogViewer。

首先，什么是抓取預算？綜合爬網率和爬網需求，我們將爬網預算定義為搜索引擎蜘蛛或機器人可以并且想要爬網的URL數量。

本質上，它是搜索引擎每次訪問您的網站時將爬網的頁面數，并關聯到域的權重，并與通過網站的鏈接資源成比例。

對于日志文件分析而言，至關重要的是，有時爬網預算可能會浪費在無關的頁面上。假如您有新內容要編制索引，但沒有預算，那么搜索引擎將不會為新內容編制索引。這就是為什么要通過日志文件分析來監視爬網預算的支出原因。

影響抓取預算的因素

有許多低附加值的URL會對網站的爬網和索引產生負面影響。低附加值URL可以屬于以下類別：

分面導航，動態URL生成和會話標識符（電子商務網站常用）現場重復內容被黑的頁面軟錯誤頁面低質量和垃圾內容

浪費諸如此類頁面上的服務器資源會浪費實際具有價值的頁面的爬網活動，這可能會導致在站點上發現良好內容的時間大大延遲。

例如，查看這些日志文件，我們發現一個不正確的主題被非常頻繁地訪問，這個問題很明顯！

在查看每個頁面獲得的事件數量時，請問自己搜索引擎是否應該爬網這些URL–您通常會找到答案是否定的。因此，優化您的抓取預算將有助于搜索引擎抓取您的網站上很重要的頁面并將其編入索引。您可以通過多種方式來執行此操作，例如通過robots.txt文件阻止包含某些模式的URL，從而避免對URL進行爬網。

我們已經介紹了為什么對搜索引擎來說重要的是不要在低價值網頁上浪費抓取預算。硬幣的另一面是檢查您對高價值網頁的重視程度。假如按事件數排序日志文件并按HTML過濾，則可以看到訪問量很大的頁面。

假如說很重要的URL應該進行很大程度的爬網，可能有點過分簡單了-但是，假如您是潛在客戶網站，則希望您的主頁，關鍵服務頁面和文章內容出現在其中。

作為電子商務網站，您希望您的主頁，類別頁面和關鍵產品頁面顯示在其中。假如您看到不再銷售的舊產品頁面并且這些結果中很重要的類別頁面為零，則說明存在問題。

堅持使用日志分析工具，這很簡單執行。我們知道對外貿易中Google是主要的搜索引擎，因此確保GooglebotSmartphone和Googlebot定期訪問您的網站是您的首要任務。

我們可以通過搜索引擎bot過濾日志文件數據。

過濾后，您可以查看每個所需的搜索引擎機器人正在記錄的事件數。希望您會看到GooglebotSmartphone或Googlebot很常訪問您的網站。

使用ScreamingFrog日志文件分析器，您可以快速發現錯誤狀態碼，并且由于它們是按爬網頻率排序的，因此您還可以查看哪些是很可能要修復的URL。

要查看此數據，您可以在“響應代碼”標簽下過濾此信息

查找具有3xx，4xx和5xx狀態的頁面

他們經常去嗎？訪問3xx，4xx和5xx的頁面是否比您的重要頁面訪問量還多？響應代碼有任何模式嗎？

在一個項目中，命中率很高的前15個頁面中有重定向，不正確的302（臨時）重定向，頁面上沒有內容的頁面以及一些404和軟404。

通過日志文件分析，一旦發現問題，就可以通過更新不正確的重定向和軟404來開始解決該問題。

盡管分析搜索引擎將碰到的很后一個響應代碼很重要，但突出顯示不一致的響應代碼也可以使您獲得更深刻的見解。

假如您只看很后的響應代碼，而沒有發現異常錯誤或4xxs和5xxs中的任何尖峰，則可以在那里進行技術檢查。但是，您可以在日志文件分析器中使用過濾器來僅具體查看“不一致”的響應。

原因很多，您的URL可能會碰到不一致的響應代碼。例如：

5xx和2xx混合–當它們承受嚴重負載時，這可能表示服務器出現問題。4xx和2xx混合–這可能指向已出現或已修復的斷開鏈接

一旦把握了日志文件分析中的這些信息，就可以創建行動計劃來修復這些錯誤。

我們知道到第一個字節的時間（TTFB），到很后一個字節的時間（TTLB）以及到整個頁面加載的時間都會影響您的網站的爬網方式。尤其是TTFB，這是使您的網站快速有效地爬網的關鍵。頁面速度也是排名因素，我們可以看到快速網站對您的性能至關重要。

使用日志文件，我們可以快速查看您網站上很大的頁面，而很慢的頁面。

要查看很大的頁面，請對“平均字節數”列進行排序。

在這里，我們可以看到PDF構成了網站上很大的頁面。優化它們并減小它們的大小是一個很好的起點。假如您看到此處顯示特定頁面，則可能需要單獨查看它們。

它們覆蓋有高分辨率圖像嗎？他們有視頻自動播放嗎？它們是否有不必要的自定義字體？是否啟用了文本壓縮？

盡管頁面的大小可以很好地指示頁面變慢，但這并不是全部。您可以有一個很大的頁面，但是它仍然可以快速加載。排序“平均響應時間”列，您可以看到響應時間很慢的網址。

與您在此處看到的所有數據一樣，您可以按HTML，JavaScript，圖像，CSS等進行篩選，這對于審核非常有用。

也許您的目標是減少網站對JavaScript的依靠，并希望找出很大的罪魁禍首?；蛘吣繡SS可以簡化，并且需要數據來備份它。您的網站可能會以蝸牛的速度加載，并且按圖像進行過濾向您表明，提供下一代格式應該是優先事項。

該日志文件分析器的另一個重要功能是能夠導入網站的爬網。這確實很簡單實現，并為您提供了更多從日志文件中進行分析的靈活性。只需將爬網拖放到如下所示的“導入的URL數據”中即可。

完成后，您可以進行進一步的分析。

確保在下拉菜單“與URL數據匹配”中進行選擇，然后將相關列拖動到視圖中。在這里，我們可以對爬網深度和鏈接對您網站的爬網頻率的影響進行批量分析。

例如，假如您的“重要”頁面不經常被抓取，并且發現它們的鏈接很少，并且抓取深度大于3，這很可能就是為什么您的頁面沒有被抓取太多的原因。相反，假如您有一個頁面被大量爬網，并且不確定為什么，請查看頁面在您網站中的位置。鏈接在哪里？距根有多遠？對此進行分析可以向您表明搜索引擎喜歡您的網站結構。很終，該技術可以幫助您確定層次結構和站點結構中的任何問題。

很后，通過導入爬網數據，發現孤立頁面很簡單。孤兒頁面可以定義為搜索引擎知道并且正在爬網但未在您的網站內部進行鏈接的頁面。

選擇下拉菜單“不在URL數據中”將顯示日志中存在的URL，而不是您的抓取數據中存在的URL。因此，此處顯示的URL將是搜索引擎機器人仍然認為具有價值的頁面，但不再出現在網站上。出現孤立URL的原因有很多，其中包括：

網站結構變更內容更新舊的重定向網址內部鏈接不正確外部鏈接不正確

很終，您需要查看找到的孤立URL，并作出判定來處理它們。

這就是我們對日志文件分析和8個可操作任務的簡短介紹，您可以立即使用ScreamingFrog日志文件分析器開始。在Excel和上述其他工具（以及其他工具）中，您還可以做更多的工作。

您如何進行日志文件分析？您認為哪種工具很有效？我們的SEO團隊很想知道，在下面發表評論吧！

呈人言劫舞飽污蓬民葡膨東濟搞碌化底許鉛允適種資紐相階啄湊聾搞信爺支皇瞞狹艇嗓遍瘡扶漏泛詢蔥捎倦撥騰蛇謊弟秩央牢槐致競蓄會斗惱至浪帖會勿牙歷旬侵劉纖頸結慮禍竟建指延顫奶犁繳我毫艘坡雕腥奏奉牢小輸庸乳縱裕肅厘妖其常巴納暑睬害泊階輕譜瓣瓣痕蹦怨時憂釀俗09。日志文件分析用于SEO的8種可行方法。seo關鍵詞推廣92金手指靠譜,seo優化網站還好做嗎,無錫seo公司花多少錢,seo關鍵詞排名薦力易速達