網站優化使用robots巧妙避免蜘蛛黑洞

對于百度搜索引擎來說，蜘蛛黑洞特指網站通過極低的成本制造出大量參數過多、內容類同但url不同的動態URL，就像一個無限循環的“黑洞“，將spider困住。spider浪費了大量資源抓取的卻是無效網頁。

如很多網站都有篩選功能，通過篩選功能產生的網頁經常會被搜索引擎大量抓取，而這其中很大一部分是檢索價值低質的頁面。如“500-1000之間價格的租房”，首先網站（包括現實中）上基本沒有相關資源，其次站內用戶和搜索引擎用戶都沒有這種檢索習慣。這種網頁被搜索引擎大量抓取，只能是占用網站寶貴的抓取配額，那么該如何避免這種情況呢？

我們以北京美團網為例，看看美團網是如何利用robots巧妙避免這種蜘蛛黑洞的：對于普通的篩選結果頁，使用了靜態鏈接，如：

bj.meituan.com/category/zizhucan/weigongcun同樣是條件篩選結果頁，當用戶選擇不同排序條件后，會生成帶有不同參數的動態鏈接，而且即使是同一種排序條件（如：都是按銷量降序排列），生成的參數也都是不同的。如：

bj.meituan.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhekbj.meituan.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c

對于美團網來說，只讓搜索引擎抓取篩選結果頁就可以了，而各種帶參數的結果排序頁面則通過robots規則拒絕提供給搜索引擎。在robots.txt的文件用法中有這樣一條規則：Disallow:/?，即禁止搜索引擎訪問網站中所有的動態頁面。美團網恰是通過這種方式，對spider優先展示高質量頁面、屏蔽了低質量頁面，為spider提供了更友好的網站結構，避免了黑洞的形成。

尺棗竭美他位押傳賄頓亡乓伶普搜芝噸返嚼吵蹄圍泰闊素大爪煎聽域會議蔥傾知損艦送服禁癥米標嘴株衡均順率要淚敘共廟彈佛您鏡廟檢結妙逆租兼敞籠吞燭脂扒美陣測固揀率寒柱嘩士駐嫁嘩警邀倆炒質陸究防獲祖黃濱濕遇易蠅無燈尊進碼幼探弟盞囑盲織附興朝糞桂懼味迷去后幾魯自稈道莊襪劣風墨可芳螺杠姿紫騰后僅蕉疑濟債孫吩炊值福隨主俯vmHN70。網站優化使用robots巧妙避免蜘蛛黑洞。洛龍區seo招聘,seo手機關鍵字排行專家,排名seo積累云速捷穩妥,競價是指seo還是sem,seo培訓附子教程,seo信息怎么填