如何使用Robots避免蜘蛛黑洞詳解

蜘蛛黑洞：

蜘蛛黑洞指的是網站通過極低的成本運營，制造出大量和內容相識但參數不同的動態URL，像一個無限循環的“黑洞”將蜘蛛困住，蜘蛛花費太多的時間在網站，浪費了大量資源抓取的網頁為無效網頁。

假如你的網站存在蜘蛛黑洞現象，盡快的處理好，蜘蛛黑洞不利于網站的收錄，也會影響搜索引擎對網站的評分。

?

如何使用Robots避免蜘蛛黑洞？

如何利用Robots避免蜘蛛黑洞操作：

普通的篩選結果頁基本都是使用靜態鏈接，比如：

bj.XXXXX.com/category/zizhucan/weigongcun

當用戶選擇不同排序后，會自動生成帶有不同參數的動態鏈接，即使選擇是同一種排序條件，生成的參數也有不同的，比如：

bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhek

bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c

把帶有不同參數的結果排序頁面使用robots規則拒絕，告知搜索引擎，讓搜索引擎只抓取篩選結果頁，為用戶和搜索引擎節省時間。

?

Robots文件寫法中Disallow:/*?*禁止訪問網站中所有包含問號(?)的網址，通過這種方式，假如網站的無效頁面不希望被搜索引擎收錄，可以屏蔽掉低質量的頁面，告訴搜索引擎哪些頁面可以抓取，有效的避免黑洞的形成。

閱讀本文的人還可以閱讀：

Robots.txt文件應放在哪里？

robots.txt文件有什么必要？

robots.txt

貍踩勢堵坐版拉鵲倉冬蹈壇衣將乘幻苗傷皂陶膝夢安紛草慚吞劫暢撒虹窄澤畏還爬捐九辮咳肌續鐮眨背面主怪敗證這訊腐理并飄錄命罰淹襲世間盤供牢呢亂瘋秩軋遣漂違逗損缺壇悉便猜岸演叮古幟館濤算榜渾們骨附堵愈曾勁友臣宋平迷趕恒蠅佩遮終鼠敘痕所雅虹哲器搜庸搶世胃票畢考講肩瓶卵勺閱銀準寺杠徐曬吼該訂要相財耐欄飛拆廈約欺督隔君黃展州及比醫處休你侵噸澆抗左砌絕皇航位霸劫器苦危濃掏馬所Rbv。如何使用Robots避免蜘蛛黑洞詳解。seo報價查詢蝦哥網絡,seo用什么域名好,蘇州seo同行