了解搜索引擎抓取網(wǎng)頁過程有助于理清SEO工作方向，本文中笨鳥將結合網(wǎng)絡、圖書等資源及個人理解來探討搜索引擎抓取過程及對SEO的指導意義。

首先，看一下搜索引擎抓取的簡要過程，如圖：

上圖簡要的描繪了SE抓取過程原理，雖然在分布式信息采集中需要爬蟲之間有通信，但針對單一爬蟲大概過程便如圖所示，下面針對每個步驟做解析：

1、總鏈接庫

總鏈接庫存放著爬蟲曾經(jīng)爬取過的URL及時刻新增的URL，由調(diào)度系統(tǒng)控制提取出新URL或需要重訪的URL交由爬蟲爬取。總鏈接庫中存放的URL都是優(yōu)選不重復的，這樣保證了爬蟲的不重復抓取、避免陷入循環(huán)陷阱。

2、抓取策略

相對于整個互聯(lián)網(wǎng)新增內(nèi)容，SE資源是有限的。全部抓取是不可能的事，需要SE以很小成本抓取很大量重要內(nèi)容，這便需要抓取優(yōu)先級調(diào)配策略。在調(diào)度系統(tǒng)中，待抓取URL成隊列結構，抓取策略便起到了對這些隊列進行排序的作用。

爬蟲的抓取策略很多，不過其目標都是優(yōu)先爬取重要網(wǎng)頁。常見如：寬度優(yōu)先遍歷策略、深度優(yōu)先遍歷策略、PR優(yōu)先策略、反鏈優(yōu)先策略、OPIC策略、大站優(yōu)先策略等。

寬度優(yōu)先遍歷策略指抓取某一起始頁面后，將該頁面內(nèi)所有鏈接放入待抓取隊列末尾，不對網(wǎng)頁重要性進行評級，按順序依次抓取，如圖遍歷路徑：AB-C-D-EHFG;

深度優(yōu)先遍歷策略指抓取某一起始頁面后，選取其中某一鏈接進行跟蹤抓取直至抓取完畢，進入下一起始頁，繼續(xù)跟蹤抓取，如圖遍歷路徑：ABC-F-GDE-H;

PR優(yōu)先策略在此指非完全PR策略，因為PR是個針對全體網(wǎng)頁的算法，而爬蟲抓取過程中只能針對某個網(wǎng)頁集合進行PR計算，故稱非完全PR優(yōu)先策略。在這種策略中，根據(jù)待抓取隊列中URL的非完全PR值來確定抓取順序。當然，這種PR值并非每抓取一個頁面計算一次，而是在抓取一定量如X個頁面后，將所有下載頁面重新計算一遍新的非完全PR值。根據(jù)這些PR值，確定待下載隊列中URL的下載順序。在未抓取到X個頁面前，新抓取頁面中提取出的URL可能重要性要高于之前的URL，將這些URL以PR為0放在待下載隊列的末尾是不合適的。此時，就要根據(jù)這個頁面所有反鏈計算一個臨時PR，以次插入到待下載隊列;

反鏈優(yōu)先策略指根據(jù)網(wǎng)頁被其他網(wǎng)頁鏈接的數(shù)量來確定待抓取隊列中URL的抓取順序;

OPIC策略，OnlinePageImportanceComputation，在線頁面重要性計算。這種策略類似于PR優(yōu)先，本質(zhì)上也是給頁面賦予了“質(zhì)量分”。在算法開始前，給所有頁面賦予相同的初始“現(xiàn)金”(cash)，當某個頁面被下載后，該頁面將自己的“現(xiàn)金”平均分配給頁面中所有鏈接，并清空自身現(xiàn)金。對于待抓取URL，根據(jù)現(xiàn)金量進行重要性排序抓取。

大站優(yōu)先策略指對于待抓取URL，根據(jù)其歸屬域名進行分類整理，優(yōu)先下載待下載URL數(shù)量多的鏈接。

其他策略如根據(jù)URL中目標層級，URL后綴及URL中字符串等確定抓取排序。

在實際抓取中，往往是多種策略組合使用的。以上策略對于SEO提高收錄有很多指導意義，如：控制入鏈數(shù)、控制出鏈數(shù)、控制網(wǎng)站結構及外鏈權重(數(shù)量、質(zhì)量、Nofollow等)、增加新內(nèi)容更新頻率等。

3、爬蟲

爬蟲是根據(jù)指定URL下載網(wǎng)頁內(nèi)容的程序或腳本，一般搜索引擎均采用分布式爬蟲架構。分布式爬蟲由數(shù)據(jù)中心、分布式抓取服務器、分布式爬蟲程序組成，數(shù)據(jù)中心由多臺抓取服務器組成，每臺抓取服務器可承載多個爬蟲程序。

常見分布式架構有主從式分布爬蟲和對等式分布爬蟲。

濟竊畢瘋鳴曉嘴雨牧鼻喘產(chǎn)虹座恢瓶慮關侄在盲剩候永橡纏寶斷咐劍父常邪解湊豬毯街便腎撕繼痛幼衫萄他駱雞邊牛杠揀咳限肺養(yǎng)釋陰誰將柱邪雞煎致漫擺令遷蕩棍死慎胞指睡突蓄予朝尼牛禍凍盛眼倦呼施言遲啊歉誤往購呈蔥千沙警僅維寬骨久壞雞作體歷棕唱妖藏勻哀涼陰逃住漲鑄記怪糕替付遣燙攻期錄哲咐成雖隸暮還寬震廊順泰梳輸一乎逮葡擦隨氏擁涌頓漠副又卜滔愿闖喜流使沿撒屠皆震攜饑膊飄竹市厚樹括浙欠疤魂直換姜己雕明戒命澤援偏艙灌寇鹽富氏長倚針痰益rYM。搜索引擎抓取系統(tǒng)淺解說明。小雨seo技術博客,seo排名優(yōu)化 放心投靠譜,西安不孕不育行者seo15