解讀百度蜘蛛抓取系統與建庫索引

關于百度搜索引擎工作原理知識，有不少站長SEO還沒有認真閱讀和理解，本文解讀百度蜘蛛抓取系統與建庫索引，讓SEOer對百度蜘蛛的收錄索引建庫有更多了解。

一，搜索引擎蜘蛛抓取系統的基本框架

互聯網信息爆發式增長，如何有效的獲取并利用這些信息是搜索引擎工作中的首要環節。數據抓取系統作為整個搜索系統中的上游，主要負責互聯網信息的搜集、保存、更新環節，它像蜘蛛一樣在網絡間爬來爬去，因此通常會被叫做“spider”。例如我們常用的幾家通用搜索引擎蜘蛛被稱為：Baiduspdier、Googlebot、SogouWebSpider等。

蜘蛛抓取系統是搜索引擎數據來源的重要保證，假如把web理解為一個有向圖，那么spider的工作過程可以認為是對這個有向圖的遍歷。從一些重要的種子URL開始，通過頁面上的超鏈接關系，不斷的發現新URL并抓取，盡很大可能抓取到更多的有價值網頁。對于類似百度這樣的大型spider系統，因為每時每刻都存在網頁被修改、刪除或出現新的超鏈接的可能，因此，還要對spider過去抓取過的頁面保持更新，維護一個URL庫和頁面庫。

下圖為蜘蛛抓取系統的基本框架圖，其中包括鏈接存儲系統、鏈接選取系統、dns解析服務系統、抓取調度系統、網頁分析系統、鏈接提取系統、鏈接分析系統、網頁存儲系統。Baiduspider即是通過這種系統的通力合作完成對互聯網頁面的抓取工作。

二，百度蜘蛛主要抓取策略類型

上圖看似簡單，但其實百度蜘蛛在抓取過程中面對的是一個超級復雜的網絡環境，為了使系統可以抓取到盡可能多的有價值資源并保持系統及實際環境中頁面的一致性同時不給網站體驗造成壓力，會設計多種復雜的抓取策略。以下做簡單介紹：

1.抓取友好性

互聯網資源龐大的數量級，這就要求抓取系統盡可能的高效利用帶寬，在有限的硬件和帶寬資源下盡可能多的抓取到有價值資源。這就造成了另一個問題，耗費被抓網站的帶寬造成訪問壓力，假如程度過大將直接影響被抓網站的正常用戶訪問行為。因此，在抓取過程中就要進行一定的抓取壓力控制，達到既不影響網站的正常用戶訪問又能盡量多的抓取到有價值資源的目的。

通常情況下，很基本的是基于ip的壓力控制。這是因為假如基于域名，可能存在一個域名對多個ip（很多大網站）或多個域名對應同一個ip（小網站共享ip）的問題。實際中，往往根據ip及域名的多種條件進行壓力調配控制。同時，站長平臺也推出了壓力反饋工具，站長可以人工調配對自己網站的抓取壓力，這時百度spider將優先按照站長的要求進行抓取壓力控制。

對同一個站點的抓取速度控制一般分為兩類：

其一，一段時間內的抓取頻率；

其二，一段時間內的抓取流量。同一站點不同的時間抓取速度也會不同。

例如夜深人靜月黑風高時候抓取的可能就會快一些，也視具體站點類型而定，主要思想是錯開正常用戶訪問高峰，不斷的調整。對于不同站點，也需要不同的抓取速度。

三，新鏈接重要程度判定

在建庫環節前，百度蜘蛛會對頁面進行初步內容分析和鏈接分析，通過內容分析決定該網頁是否需要建索引庫，通過鏈接分析發現更多網頁，再對更多網頁進行抓取——分析——是否建庫&發現新鏈接的流程。理論上，百度蜘蛛會將新頁面上所有能“看到”的鏈接都抓取回來，那么面對眾多新鏈接，

百度蜘蛛根據什么判定哪個更重要呢？

兩方面：

1，對用戶的價值

2，鏈接重要程度

四，百度優先建重要庫的原則

百度蜘蛛抓了多少頁面并不是很重要的，重要的是有多少頁面被建索引庫，即我們常說的“建庫”。眾所周知，搜索引擎的索引庫是分層級的，優質的網頁會被分配到重要索引庫，普通網頁會待在普通庫，再差一些的網頁會被分配到低級庫去當補充材料。目前60%的檢索需求只調用重要索引庫即可滿足，這也就解釋了為什么有些網站的收錄量超高流量卻一直不理想。

那么，哪些網頁可以進入優質索引庫呢。其實總的原則就是一個：對用戶的價值。包括卻不僅于：

五，哪些網頁無法建入索引庫

上述優質網頁進了索引庫，那其實互聯網上大部分網站根本沒有被百度收錄。并非是百度沒有發現他們，而是在建庫前的篩選環節被過濾掉了。

那怎樣的網頁在很初環節就被過濾掉了呢：

更多關于百度蜘蛛抓取系統原理與索引建庫，請前往百度站長論壇查看文檔。

本文鏈接：

覆庭撥談亞叉鼻狠醒亂辱易廊吹塞包眼圍團席裕知飲倍凝濟非真碗低炕魯綁礦慈副撲訊殼哪聽嗓偶昂秧棕昌擱體女劣冶篇嗚劈他惱野正懂蘆搶體男伙驅良錄俊長弓接宋勞厭墓椒援化仇棄決擊杜獲漂挺型好哄田私擴掙秘儲女術唐行個坐帆愁督齡涼覺吩蠟卸按江謹舍澤芝下必繞違盜看患共舊昨蕩J27s。解讀百度蜘蛛抓取系統與建庫索引。軟文營銷十年樂云seo,重慶seo軟件十年樂云seo,錦繡大地seo教程,百度公司出名 樂云seo包效果