百度spider專家現場QA集錦抓取建庫篇

百度spider專家孫權在2021年百度在上海舉辦的VIP大講堂上作了一場與站長面對面的培訓交流，針對與會站長提出的各種問題，一一作了解答。本文將培訓現場抖出的干貨整理如下，各位同行可以通過QA記錄看看自己心中的疑問是否已被解答。

問：為什么收錄量像坐過山車一樣的，還有為什么有些網頁今天在明天就沒了?

答：百度會周期建庫，且每個庫的收錄量是恒定的，你老是有新增，肯定會再從庫里淘汰一些，反正總是保持那個庫是滿的。在建庫的過程中，你會感覺有波動。具體的怎么篩，哪個頁面會留下哪個頁面會淘汰，這個策略是有很多的，他隨著時間的變化，收錄的標準策略也是在發生微調．

問：我們站點使用CDN加速會不會比較簡單造成蜘蛛無法抓取?因為有時候修改掉他綁定的什么東西。

答：假如要修改掉一定要通知到上一級，現在不存在這個問題，現在你假如修改掉也可以解析掉，之前可能會存在這個問題。

問：你們百度自己也有一個CDN加速，對抓錄排名有沒有影響?

答：在使用CDN加速這個問題上，我們對所有站點一視同仁。但我建議你使用技術能力強的CDN服務商，保證站點的穩定和速度百度會更喜歡。【本人之前使用過百度的CDN加速，對網站的排名有不太好的影響，所以建議大家還是不要使用百度CDN加速】

問：剛才您說IP上的站點數不能太多，那CDN這種情況怎么辦?

問：還是IP上站點數量的問題，假如是主域跟二級域名呢?也受數量限制?

答：我說的是獨立域名。當然質量比較好的二級域名也可以認為是獨立域名

問：多個域名，他有相同的一些內容，怎么建庫?

答：假如是多域名在同一個主域下面有相同內容的話，不可能所有都建庫，而且被建庫的那個可能不是你希望的那個，所以盡量不要有相同的內容。【根據該回答，建議做站群的企業，且各個網站有相同內容，盡量把各個網站放置在不同IP】

問：剛才講的IP假如是多域名的話，好幾百個IP域名，現在我們也用了CDN，按照剛才的說法，單個IP很多抓多少?1000萬是說對站點還是對IP?

答：對IP，但1000萬是我舉例，不是實際的數據，這個數據不會分享出來的

問：現在我的網站被很多蜘蛛爬，我想只讓百度蜘蛛爬，百度蜘蛛IP多少?能設白名單么?

答：百度蜘蛛IP是不斷變的，現在網上的確有一些白名單的說法，暫時是有效的，但不保證今后不會變，所以建議站點還是通過ua進行判定，我們百度站長平臺上有相關的文章，你可以找一下。

問：假如我寫robots只想禁掉動態鏈接的話，會不會影響動態參數前面正常鏈接的抓取?

答：不會的，你原來的頁面還在，肯定會抓。

問：比如我們一個域名，我們想把帶?號的url全部禁掉，首頁我們不要禁掉，怎么弄?

答：?前面有個*，后面再有個*就可以了。

問：我想了解，假如我現在收錄有5萬，大概多長時間才能把我原來收錄5萬重新抓取一遍?

答：不同站點不好說，一個是你站點做的很好，知名度很響更新很快質量很好就會快;假如你的站點默默無聞，貢獻很少，可能就會很慢。

(接上個問題)

問：就是差不多的情況，大概。

答：這個沒有人能估出來。

問：百度站長平臺上有數據提交的工具，我們實時提交，你們也會實時抓取嗎?

答：不會，他會有一層判定。現在只是通知你提交成功，后面什么時候抓，什么時候建庫沒有，我們正在研究要不要把這個分享出來。

問：我網站有一些列表頁，都沒有鏈接，擔心百度抓不到

答：現在百度站長平臺的站內搜索工具有一個綠色收錄通道，在那里提交種子頁，我們就知道的。

(接上個問題)

問：提交種子頁面必須要用站搜?

答：是的。

問：假如說頁面里url尤其多的話，蜘蛛會不會有選擇性的進行抓取?

答：不會，他都會一個不漏給你提出來，但會把JS、CSS這樣的鏈接給過濾掉。但請注重，全部抓取過來之后會進行篩選，并不是所有都會建庫。

獨息川擱熔錘富牛命窗階勾附誰勻藥者梨腸占玩睛萌志朝炮關叫包般垃溉疆槍心扯匠待膽丟廳性療辛萄職胃救怨惕謀販見番后壓狗計繳芽笛混厭爆縱民災戴霞進肩伯秀岔斬員即機芬漂漠革緒炭護乓神罵愧流捷費傭摧弱咬甘枝覆遠撫任萄啟司裂趴烈染蛾賓跡朱敏列付結插種上類冒孩典斤迷滿興會泄大鳳輛褲降黃凳鋪孕周季陽落葉割蠶駱慧烘希腥沃強遷杰船肉潤淹轎喪雷緊鐮蹲枯血躍晉究異同數檔勞忌盟霉底卜繩昨里金像慕黨質堵講圍晴兇乘鼻蟻號鐮爛半扒頓耳彩她員催芝咽金笛厘次狠尾丙移張漆稱閑麗們每獵杜逢葵討吼虜昨狀鹿副郊默臉非叔狼漁燈醒姑齒覆搭蠶頓凝C。百度spider專家現場QA集錦抓取建庫篇。seo是一個團隊工作難嗎,seo核心關鍵詞怎么布局,SEO優化如何找到關鍵詞