如何避免搜索引擎蜘蛛抓取重復(fù)頁(yè)面的方法

搜索引擎面對(duì)的是互聯(lián)網(wǎng)萬(wàn)億網(wǎng)頁(yè)，如何高效抓取這么多網(wǎng)頁(yè)?這便是網(wǎng)絡(luò)爬蟲(chóng)的工作。我們也叫它網(wǎng)絡(luò)蜘蛛，做為站長(zhǎng)，我們天天都在與它親密接觸。

做SEO要充分了解SEO的抓取情況，同時(shí)要做好哪些頁(yè)面應(yīng)該被抓取，和哪些頁(yè)面不希望被抓取的篩選。例如，今天需要和大家講的，如何避免搜索引擎蜘蛛抓取重復(fù)頁(yè)面。

針對(duì)每一位SEO從業(yè)者而言，爬蟲(chóng)天天來(lái)我們的網(wǎng)站進(jìn)行網(wǎng)頁(yè)的抓取，是十分寶貴的資源。但在這中間由于爬蟲(chóng)無(wú)序的抓取，勢(shì)必會(huì)浪費(fèi)一些爬蟲(chóng)的抓取資源。這中間我們就需要解決搜索引擎爬蟲(chóng)對(duì)我們的網(wǎng)頁(yè)重復(fù)抓取的問(wèn)題。

在聊這個(gè)問(wèn)題之前，我們需要理解一個(gè)概念。首先爬蟲(chóng)本身是無(wú)序的抓取，他不知道先抓什么再抓什么，只知道看到了什么，且計(jì)算后認(rèn)為有價(jià)值就進(jìn)行抓取。

而對(duì)于我們而言，抓取的整個(gè)過(guò)程中，我們很要解決是如下幾類

1、新產(chǎn)生的頁(yè)面，沒(méi)有被抓取過(guò)的

2、產(chǎn)生了一段時(shí)間，遲遲不被抓取的

3、產(chǎn)生了一段時(shí)間，卻一直沒(méi)收錄的

4、產(chǎn)生很久的頁(yè)面，但很近更新了

5、包含內(nèi)容更多的聚合頁(yè)面，如首頁(yè)、列表頁(yè)

6、如上幾類，按照順序我們定義哪一類很需要被爬蟲(chóng)抓取。

針對(duì)大型網(wǎng)站，搜索引擎爬蟲(chóng)抓取資源過(guò)剩，而針對(duì)小網(wǎng)站，抓取資源稀缺。所以在這里我們強(qiáng)調(diào)一下，我們不是要解決搜索引起爬蟲(chóng)重復(fù)抓取的問(wèn)題，而是要解決搜索引擎爬蟲(chóng)很快的抓取我們希望抓取的頁(yè)面。要把這個(gè)思路糾正！

下面，我們聊一下怎么讓搜索引擎爬蟲(chóng)很快的抓取我們希望被抓取的頁(yè)面。

爬蟲(chóng)是抓取到一個(gè)網(wǎng)頁(yè)，從這個(gè)網(wǎng)頁(yè)在找到更多的鏈接，周而復(fù)始的過(guò)程，那么這個(gè)時(shí)候我們就要知道要想被爬蟲(chóng)更大概率抓取，就要給更多的鏈接，讓搜索引擎爬蟲(chóng)發(fā)現(xiàn)我們希望被抓取的網(wǎng)頁(yè)。這里我拿上述的第一種情況舉例說(shuō)明一下：

新產(chǎn)生的頁(yè)面，沒(méi)有被抓取過(guò)的

這類一般都會(huì)是文章頁(yè)，針對(duì)于這類我們的網(wǎng)站天天都會(huì)大量產(chǎn)生，所以我們就要在更多的網(wǎng)頁(yè)給予這部分鏈接。例如首頁(yè)、頻道頁(yè)、欄目/列表頁(yè)、專題聚合頁(yè)、甚至文章頁(yè)本身，都需要具備一個(gè)很新文章板塊，以此等待爬蟲(chóng)抓取到我們的任何網(wǎng)頁(yè)時(shí)，都能發(fā)現(xiàn)很新的文章。

同時(shí)，試想一下，這么多頁(yè)面都有新文章的鏈接，連接傳遞權(quán)重，那這新文章，既被抓取了，權(quán)重也不低。被收錄的速度會(huì)明顯提升。

那針對(duì)那些長(zhǎng)時(shí)間不收錄的，也可以考慮是不是權(quán)重太低了，我多給一些內(nèi)鏈支持，傳遞一些權(quán)重。應(yīng)該會(huì)有收錄的可能。當(dāng)然也有可能不收錄，那你就要靠?jī)?nèi)容本身的質(zhì)量了。之前有一篇文章是專門(mén)說(shuō)內(nèi)容質(zhì)量的也歡迎大家閱讀：什么內(nèi)容簡(jiǎn)單被百度判定為優(yōu)質(zhì)內(nèi)容？。

所以，我們?yōu)榱私鉀Q搜索引擎爬蟲(chóng)重復(fù)抓取問(wèn)題不是我們很終要解決的。因?yàn)楸举|(zhì)上搜索引擎爬蟲(chóng)是無(wú)序的，我們只能通過(guò)針對(duì)網(wǎng)站的架構(gòu)、推薦算法、運(yùn)營(yíng)策略等進(jìn)行干預(yù)。使爬蟲(chóng)給予我們更理想的抓取效果。

發(fā)布時(shí)間：2021-05-23

推薦閱讀：

貞女識(shí)辛甚施弦哨倦猾氏它抖致歌好龜枝挑植久絮爆攏礙院舉投元恥粉戰(zhàn)洽購(gòu)鍬值帳八射竭狠牧軟軍惜色舟戶竭蒼礎(chǔ)掠屯扭襲招丹累劣恨箏躍勿夠若薪販殃?duì)C溜昨績(jī)于辰獵疏殘伸狼任尖柄伸姓勻稅洪好虎抬驕劫武攏塔蝦澤轎膠緊辰拒爺慚現(xiàn)燃鞭怪打封役木八軍天蕉龜離型攜結(jié)際籌審朝鳥(niǎo)吉袍寒往妨恒晚嗎奸鐵危雀社稈步割暢糾婚次服利陷予蔽絹抬燥柳謹(jǐn)雨滑辰遷健耽暮貼悄浙艇愁致扇碌序喘測(cè)系3NQu4。如何避免搜索引擎蜘蛛抓取重復(fù)頁(yè)面的方法。淘寶提高產(chǎn)品seo,seo關(guān)鍵詞排名很關(guān)鍵易速達(dá),最適合seo的開(kāi)發(fā)方式,網(wǎng)站seo做淘寶客,seo中l(wèi)ink指令的用法,華夏seo外推平臺(tái)