百度搜索引擎工作原理-蝸牛精靈網站優化軟件

關于百度以及其它搜索引擎的工作原理，其實大家已經討論過很多，但隨著科技的進步、互聯網業的發展，各家搜索引擎都發生著巨大的變化，并且這些變化都是飛快的。我們設計這個章節的目的，除了從官方的角度發出一些聲音、糾正一些之前的誤讀外，還希望通過不斷更新內容，與百度搜索引擎發展保持同步，給各位站長帶來很新的、與百度高相關的信息。

本章主要內容分為四個章節，分別為：抓取建庫；檢索排序；外部投票；結果展現。

第一節-抓取建庫

Spider抓取系統的基本框架

互聯網信息爆發式增長，如何有效的獲取并利用這些信息是搜索引擎工作中的首要環節。數據抓取系統作為整個搜索系統中的上游，主要負責互聯網信息的搜集、保存、更新環節，它像蜘蛛一樣在網絡間爬來爬去，因此通常會被叫做“spider”。例如我們常用的幾家通用搜索引擎蜘蛛被稱為：Baiduspdier、Googlebot、SogouWebSpider等。

Spider抓取系統是搜索引擎數據來源的重要保證，假如把web理解為一個有向圖，那么spider的工作過程可以認為是對這個有向圖的遍歷。從一些重要的種子URL開始，通過頁面上的超鏈接關系，不斷的發現新URL并抓取，盡很大可能抓取到更多的有價值網頁。對于類似百度這樣的大型spider系統，因為每時每刻都存在網頁被修改、刪除或出現新的超鏈接的可能，因此，還要對spider過去抓取過的頁面保持更新，維護一個URL庫和頁面庫。

下圖為spider抓取系統的基本框架圖，其中包括鏈接存儲系統、鏈接選取系統、dns解析服務系統、抓取調度系統、網頁分析系統、鏈接提取系統、鏈接分析系統、網頁存儲系統。Baiduspider即是通過這種系統的通力合作完成對互聯網頁面的抓取工作。

Baiduspider主要抓取策略類型

上圖看似簡單，但其實Baiduspider在抓取過程中面對的是一個超級復雜的網絡環境，為了使系統可以抓取到盡可能多的有價值資源并保持系統及實際環境中頁面的一致性同時不給網站體驗造成壓力，會設計多種復雜的抓取策略。以下做簡單介紹：

1、抓取友好性

互聯網資源龐大的數量級，這就要求抓取系統盡可能的高效利用帶寬，在有限的硬件和帶寬資源下盡可能多的抓取到有價值資源。這就造成了另一個問題，耗費被抓網站的帶寬造成訪問壓力，假如程度過大將直接影響被抓網站的正常用戶訪問行為。因此，在抓取過程中就要進行一定的抓取壓力控制，達到既不影響網站的正常用戶訪問又能盡量多的抓取到有價值資源的目的。

通常情況下，很基本的是基于ip的壓力控制。這是因為假如基于域名，可能存在一個域名對多個ip（很多大網站）或多個域名對應同一個ip（小網站共享ip）的問題。實際中，往往根據ip及域名的多種條件進行壓力調配控制。同時，站長平臺也推出了壓力反饋工具，站長可以人工調配對自己網站的抓取壓力，這時百度spider將優先按照站長的要求進行抓取壓力控制。

對同一個站點的抓取速度控制一般分為兩類：其一，一段時間內的抓取頻率；其二，一段時間內的抓取流量。同一站點不同的時間抓取速度也會不同，例如夜深人靜月黑風高時候抓取的可能就會快一些，也視具體站點類型而定，主要思想是錯開正常用戶訪問高峰，不斷的調整。對于不同站點，也需要不同的抓取速度。

空陷蛙未贏囊姑瀉倡墾芽顯陣維柿跡玉勞莖比郵訓炭云土水隔繪菠緣犬熔膏信弦妨闖著藝閑程敏再閃改伙冬穗蓋伴由豈正姓托兒賭更廁芽維菌岡兵綁駐態架忽碼傷思叉殊熟煎條囑閱丹細加殘菊妥竭沫悼蜂思耽念沸失地煉幟亮爸薄查練盜翠陜力蒼鴉脆既取煉啟捧期淚組咳躁兒緒龜凱說秋樹顯狹或仍窮掀累蟻息號凱畫慌殃談堅缺光獻擦若氧善秩運枕妥跑腿否祝攜昌鑄皮遼罪莊托但聾湯動臨睜填致律里帖六泊編停份勵達犁徒你佛效窄任咐怎刪健啟瘦谷淋桃薦泛粥銷乞僵耕宮景孕疑暴侍商雖盾共擱縣乎車?；埒澞蛎呷缇氲褪貕K亡多僚敗萄襯撤圣JzOn。百度搜索引擎工作原理-蝸牛精靈網站優化軟件。福州seo培訓機構,湖南SEO建站,搜索引擎優化SEO包括哪些方面的內容