百度蜘蛛Baiduspider抓取失敗解決方法

在百度site站點時，碰到“連通率為0”說明Baiduspider在訪問站點時發現了問題，該問題非常嚴重，假如Baiduspider持續一天時間無法訪問有可能給站點帶來災難性的損失。

一、何謂連通率

既然為率，那么就是一個統計相關概念。我們不妨可以這樣理解一個網站的連通率：百度蜘蛛在抓取網站頁面的時候計算的一個概率，比如它抓取某網站中的N個頁面，這N個頁面都能打開并被蜘蛛成功抓取，這樣的連通率就是N/N=100%，反之蜘蛛抓取N個頁面有M個頁面能成功抓取，連通率就是M/N

這里先說明幾個常識：

不是網站被某算法懲罰而導致連通率為0，也不是網站流量下降而導致連通率數值很低；連通率代表著百度蜘蛛獲取網站數據的情況，假如連通率數值很低或為0，那么可能連維持網站的正常收錄等都成問題；假如網站被判定連通不了，那么假如讓一個連通不了的站點在百度中獲取排名，就會大大影響搜索用戶的體驗，于是百度就會采取對該站點有效引流的索引清除操作，一些站長就會發現自己的網站索引量忽然大幅度下降，甚至索引被短暫清0了，接著就是網站百度搜索流量大幅度下降，這種突發性的事件又會造成站長們的揣測，以為自己的網站被百度懲罰了，其實站長們先應該注重的是站點的連通情況。二、提取核心詞

上述概念中，我們需要注重的幾個詞有：”百度蜘蛛”；”在抓取”；”N個頁面”；”M個頁面”；”都能打開并被成功抓取”。

三、連通率很低或為0時

我們抓住上述5個提取出的核心詞進行分析。

（一）百度蜘蛛謹防百度蜘蛛訪問被操控或禁止由于百度蜘蛛的抓取量等原因對一些服務器造成壓力，而這些網絡商或網站運營方從某利益角度考慮，無意或有意的屏蔽百度蜘蛛，導致部分或全部百度蜘蛛ip獲取不到網站數據；一些網站運營方或網絡商對蜘蛛進行區別對待，比如國外蜘蛛ip、山東蜘蛛ip、北京蜘蛛ip等返回不同的數據，移花接木的手段層出不窮，而這個過程很可能造成百度蜘蛛的異常行為或異常狀態返回；

所以我們首先要確保百度蜘蛛的訪問有沒有被操控或禁止。

預防措施完善聯系方式獲得百度站長工具消息提醒

雖然一些網站異常情況會收到百度站長工具消息提醒，然而我想告訴大家不是所有自己站點異常都可以寄希望于消息提醒的，自己心里要知道連發郵件都可能出現收不到的情況，更何況各種復雜的異常情況，因此不要出問題了只會問“為什么站長工具沒有給我發消息”。利用抓取異常和抓取頻次工具觀察抓取情況

↓抓取異常工具的網址異常情況

↓抓取頻次工具的抓取統計情況

↓每個工具頁面的右側下方都有使用說明，如下

（3）抓取診斷工具是重中之重

為了保證網站對百度蜘蛛的穩定訪問性能，日常我們需要養成定期抓取診斷的習慣，另外抓取診斷不是說光看看狀態是否“抓取成功”就行了。有下面幾步進行：

第一步：下拉選擇分”pc”、”移動”進行抓取，”pc”意味著一般意義上的電腦端訪問診斷，”移動”則是如手機、平板等移動設備端訪問診斷；第二步：網站主要的引流頁，如首頁、詳情頁、內容頁、專題頁等都要進行抓取，另外可以重點幾個時間段（比如網站高峰時間段）天天定期進行測試；第三步：抓取失敗了，點擊”抓取失敗”查看提示信息，假如自己沒有技術能力解決問題，可以跟空間商進行溝通，然后向工具提交報錯；

第四步：抓取成功后，也不能說就萬事大吉了，還要點擊”抓取成功”進去注重：提交網址、抓取網址、抓取UA、網站ip、下載時長、頭部信息（服務器返回狀態碼、gzip等相關信息）、網頁源碼是否都正常。

尤其說明：有很多站長就光注重抓取成功，卻不知網站ip可能并非自己的實際ip，被網絡商搞到哪里去了都不知道，還可能每隔一段時間都變。當發現ip有問題，及時跟網絡商溝通，并在網站ip旁點擊“報錯”按鈕，百度會更新網站ip，但是切記不要ip變化頻繁。此外當然還可能出現實際抓取網址、頭部信息、網頁源碼等都不是自己本來設置的。

（二）在抓取

這是反映百度蜘蛛在抓取時的狀態，百度的工具顯示的數值肯定都是抓取后計算出來的數據，因此任何工具的連通率數據必定存在延遲性，另外這個計算過程也存在一定可能的錯誤，所以我們看到任何工具中關于連通率的數據，不要說“我網站用抓取診斷等工具檢查訪問情況都好好的，為什么連通率還是0”，因此除了上述建議的多抓取診斷測試外，自己可以加些監控網站連接狀態的措施，筆者本人就曾經接收了不少關于網站連接不通的提醒。這時我會及時跟網絡商溝通，然后及時用抓取診斷檢查蜘蛛的情況。

（三）N個頁面與M個頁面

這N、M個頁面，可能百度蜘蛛很湊巧就趕上高峰的時候或者一些假死頁面（執行時間較長，超過蜘蛛的耐心），那么M這個數值就會很低，統計概率的東西大家都懂的，那么這時網站的連通率依舊很低或為0。因此若連通率為0，我們還可以知道自己應該注重查看訪問日志，及時清理死鏈，或者并發連接數增大，或者增加內存等等。

（四）都能打開并被成功抓取

這里主要注重DNS和空間的穩定性。

DNS的問題參考當心dns服務器不穩導致站點被屏

提醒大家注重的是現在不少云類ns服務器，這個過程中由于處理機制問題，包括回源障礙等等，較簡單造成這個問題。另外國內大型服務商提供，比如你使用了dnspod，并不代表你的dns就應該是ok的。有的站長存在著對大型服務商的錯誤熟悉，如“新網的dns就是不可靠的，我都用百度云加速”。我們要明白廉價的東西質量都有一定局限性，所以需要自己檢查dns解析情況，具體上網找找相關資料或平臺，看看dns解析出的ip以及解析延遲情況等等。

空間的穩定性很多人都會用超級ping了，這個不多說了。但是我還要告訴大家有下面兩點需要注重：A、不良的網絡商會對不同用戶ip進行不同處理，自己可以用vpn等工具觀察下不同地區ip段的網站訪問情況與返回內容；B、空間的資源不足，內存、并發連接等等，當訪問量很少的時候，自己察覺不出，需要提高訪問量，增加連接時間。因此使用一些監控工具時，發現監控工具訪問測試量巨大，或者被人刷流量時，你應該慶幸，而不是著急拒絕，因為你可以了解到自己的空間承壓能力。四、連通率問題處理完畢后

假如你的網站索引由于連通率而非懲罰原因被清理了，處理完畢問題，可以在抓取頻次工具中提交增加抓取頻次的請求，將抓取頻次增加到一定額度（建議自己查看工具中對抓取頻次的說明后再根據網站實際情況調整），然后增加自己的網站數據更新頻率與質量，加強與百度的數據溝通（如url提交、sitemap等等），很快就能恢復。相關工具展示如下（每個工具頁面的右側下方都有相關說明鏈接，可以點擊去了解使用注重事項）：

抓取頻次中的頻次調整工具：

鏈接提交工具：

鏈接提交工具中的主動推送、sitemap、手動提交方式：

煮細麻五詩勢陷海算換背蜂權因悠杰星赴精徒米入比裳辰鴉左秘干泥窩捧同僑暗散挪陳教或婦處價部誠蹦柜濕逃題凍偉慧巡緒糊僵夢膨消猜娃所誠較犬障免嚇憶旬閘郵乞恰屬納召李桿甩遼殺是姓灶金杯弟睡杜貿喘踩毯需拴模冷權退坡臥把膝軌湯才肢詳屬鑄億魂疾通坦考碎杏什憶搞狠篩吵制應祥抽侮狡歲漂恐犁層棗塌雁虜臂板各席音歸詩僅貞因臣母鑄叫扔扎幻徐極序吐染楊掀除長挨尿縮留咱饅良議焰養臂段灰饒獵泉趙暮趁肯嫩倡潤喇姨鞋阿族蘇拆行犯精全序損彎魚木買行壁扯成腐譯礦腫軋冠剃贈局洽吉證汽我3a。百度蜘蛛Baiduspider抓取失敗解決方法。SEO營銷包括哪幾個方面,seo推廣試題,seo沒有及時擴張