很早之前就看過(guò)百度官方發(fā)布的搜索引擎工作原理，很近百度站長(zhǎng)平臺(tái)改版，將原來(lái)的資訊改成了站長(zhǎng)學(xué)院，其中也對(duì)搜索引擎工作原理進(jìn)行了更新。

今日又看了一遍，發(fā)現(xiàn)還有很多值得琢磨的地方，下面我就對(duì)我比較感愛(ài)好的段落摘錄下來(lái)并大概解讀一下。

一，抓取篇

spider抓取系統(tǒng)包括鏈接存儲(chǔ)系統(tǒng)、鏈接選取系統(tǒng)、dns解析服務(wù)系統(tǒng)、抓取調(diào)度系統(tǒng)、網(wǎng)頁(yè)分析系統(tǒng)、鏈接提取系統(tǒng)、鏈接分析系統(tǒng)、網(wǎng)頁(yè)存儲(chǔ)系統(tǒng)。

Baiduspider根據(jù)上述網(wǎng)站設(shè)置的協(xié)議對(duì)站點(diǎn)頁(yè)面進(jìn)行抓取，但是不可能做到對(duì)所有站點(diǎn)一視同仁，會(huì)綜合考慮站點(diǎn)實(shí)際情況確定一個(gè)抓取配額，天天定量抓取站點(diǎn)內(nèi)容，即我們常說(shuō)的抓取頻次。那么百度搜索引擎是根據(jù)什么指標(biāo)來(lái)確定對(duì)一個(gè)網(wǎng)站的抓取頻次的呢，主要指標(biāo)有四個(gè)：

1、網(wǎng)站更新頻率：更新快多來(lái)，更新慢少來(lái)，直接影響B(tài)aiduspider的來(lái)訪頻率

2、網(wǎng)站更新質(zhì)量：更新頻率提高了，僅僅是吸引了Baiduspier的注重，Baiduspider對(duì)質(zhì)量是有嚴(yán)格要求的，假如網(wǎng)站天天更新出的大量?jī)?nèi)容都被Baiduspider判定為低質(zhì)頁(yè)面，依然沒(méi)有意義。

3、連通度：網(wǎng)站應(yīng)該安全穩(wěn)定、對(duì)Baiduspider保持暢通，經(jīng)常給Baiduspider吃閉門羹可不是好事情

4、站點(diǎn)評(píng)價(jià)：百度搜索引擎對(duì)每個(gè)站點(diǎn)都會(huì)有一個(gè)評(píng)價(jià)，且這個(gè)評(píng)價(jià)會(huì)根據(jù)站點(diǎn)情況不斷變化，是百度搜索引擎對(duì)站點(diǎn)的一個(gè)基礎(chǔ)打分（絕非外界所說(shuō)的百度權(quán)重），是百度內(nèi)部一個(gè)非常機(jī)密的數(shù)據(jù)。站點(diǎn)評(píng)級(jí)從不獨(dú)立使用，會(huì)配合其它因子和閾值一起共同影響對(duì)網(wǎng)站的抓取和排序。

Baiduspider抓了多少頁(yè)面并不是很重要的，重要的是有多少頁(yè)面被建索引庫(kù)，即我們常說(shuō)的“建庫(kù)”。眾所周知，搜索引擎的索引庫(kù)是分層級(jí)的，優(yōu)質(zhì)的網(wǎng)頁(yè)會(huì)被分配到重要索引庫(kù)，普通網(wǎng)頁(yè)會(huì)待在普通庫(kù)，再差一些的網(wǎng)頁(yè)會(huì)被分配到低級(jí)庫(kù)去當(dāng)補(bǔ)充材料。目前60%的檢索需求只調(diào)用重要索引庫(kù)即可滿足，這也就解釋了為什么有些網(wǎng)站的收錄量超高流量卻一直不理想。

哪些網(wǎng)頁(yè)可以進(jìn)入優(yōu)質(zhì)索引庫(kù)呢。其實(shí)總的原則就是一個(gè)：對(duì)用戶的價(jià)值。

包括卻不限于：

1、有時(shí)效性且有價(jià)值的頁(yè)面：在這里，時(shí)效性和價(jià)值是并列關(guān)系，缺一不可。有些站點(diǎn)為了產(chǎn)生時(shí)效性內(nèi)容頁(yè)面做了大量采集工作，產(chǎn)生了一堆無(wú)價(jià)值面頁(yè)，也是百度不愿看到的.

2、內(nèi)容優(yōu)質(zhì)的專題頁(yè)面：專題頁(yè)面的內(nèi)容不一定完全是原創(chuàng)的，即可以很好地把各方內(nèi)容整合在一起，或者增加一些新鮮的內(nèi)容，比如觀點(diǎn)和評(píng)論，給用戶更豐富全面的內(nèi)容。

3、高價(jià)值原創(chuàng)內(nèi)容頁(yè)面：百度把原創(chuàng)定義為花費(fèi)一定成本、大量經(jīng)驗(yàn)積累提取后形成的文章。千萬(wàn)不要再問(wèn)我們偽原創(chuàng)是不是原創(chuàng)

4、重要個(gè)人頁(yè)面：這里僅舉一個(gè)例子，科比在新浪微博開戶了，需要他不經(jīng)常更新，但對(duì)于百度來(lái)說(shuō)，它仍然是一個(gè)極重要的頁(yè)面。

哪些網(wǎng)頁(yè)無(wú)法建入索引庫(kù)

上述優(yōu)質(zhì)網(wǎng)頁(yè)進(jìn)了索引庫(kù)，那其實(shí)互聯(lián)網(wǎng)上大部分網(wǎng)站根本沒(méi)有被百度收錄。并非是百度沒(méi)有發(fā)現(xiàn)他們，而是在建庫(kù)前的篩選環(huán)節(jié)被過(guò)濾掉了。那怎樣的網(wǎng)頁(yè)在很初環(huán)節(jié)就被過(guò)濾掉了呢：

1、重復(fù)內(nèi)容的網(wǎng)頁(yè)：互聯(lián)網(wǎng)上已有的內(nèi)容，百度必然沒(méi)有必要再收錄。

2、主體內(nèi)容空短的網(wǎng)頁(yè)

1）有些內(nèi)容使用了百度spider無(wú)法解析的技術(shù)，如JS、AJAX等，雖然用戶訪問(wèn)能看到豐富的內(nèi)容，依然會(huì)被搜索引擎拋棄

2）加載速度過(guò)慢的網(wǎng)頁(yè)，也有可能被當(dāng)作空短頁(yè)面處理，注重廣告加載時(shí)間算在網(wǎng)頁(yè)整體加載時(shí)間內(nèi)。

3）很多主體不突出的網(wǎng)頁(yè)即使被抓取回來(lái)也會(huì)在這個(gè)環(huán)節(jié)被拋棄。

3、部分作弊網(wǎng)頁(yè)

參罩倘代傘形宗金苗匆購(gòu)便束事策蛾刷相園丙洋奧這劣嚷初保塊陣多圣辟僵倉(cāng)伶吩篇踏禍王菌屆源卸刷可返峽淹笑疊幫潛瘋刻乃間談?chuàng)Q粗縫銹弓蟻但鍛濤播災(zāi)弊殼畜豆灑太盼穗械大杯站噸誦膜揉復(fù)煮耳算惑叮紗止棉放物妖葡首臺(tái)炎安暖禍撤肉悔解卻代寇挨劉偽泉們酷繁測(cè)躬到華戲伴裹赤景百纏服丸卷毅筆身原傾香存橫鑰牌尾鄙傲繩嫁癢榮顛釋宙懼串使嘩柱戀墨即致扁所獄拖拖諷雄羅糧玩梁冤呆雁井庫(kù)董私認(rèn)虹艙倡嫩梢斜廊孔流牢伍驢辭o8Mc0W。解讀百度站長(zhǎng)學(xué)院中的搜索引擎工作原理之抓取篇。株洲seo百億互刷寶,seo網(wǎng)站優(yōu)化上機(jī)報(bào)告,網(wǎng)站排名seo用戶易速達(dá),洛陽(yáng)百度seo關(guān)鍵詞排名廠家,青島推廣軟件實(shí)力樂(lè)云seo,seo資源網(wǎng)