垃圾蜘蛛是什么封禁AhrefsBot垃圾蜘蛛方法

奶媽的一個站流量用超了，很開始以為是圖片被盜鏈導致了，分析了下日志才發現，是AhrefsBot這個垃圾蜘蛛在瘋狂的爬站，不到一天時間爬取了6000多次，我X。果斷研究如何封禁AhrefsBot垃圾蜘蛛，下面給大家介紹下垃圾蜘蛛是什么。

AhrefsBot是一個國外的搜索引擎蜘蛛。不過對你的網站來說除了浪費資源外，沒有任何好處。

簡單說，AhrefsBot是一個營銷網站的爬取蜘蛛，負責分析你網站的鏈接信息，這個工具對于國內用戶來說，有luan用。

具體的介紹你可以查看他們官網的英文解釋。ahrefs.com/robot

奶媽通過對一天的網站日志進行分析，你們猜猜一共有多少個不同的AhrefsBot蜘蛛ip來抓取網站數據？

居然有561個IP，而且只是不到一天的日志記錄。

官方公布的AhrefsBot爬蟲IP段如下：

54.36.148.0/24

54.36.149.0/24

54.36.150.0/24

195.154.122.0/24

195.154.123.0/24

195.154.126.0/24

195.154.127.0/24

好了，既然這樣變態，下面就開始來想辦法封禁AhrefsBot的抓取吧。

被AhrefsBot蜘蛛爬取的站服務器用的阿里云，阿里云后臺有安全組可以使用，所以直接屏蔽AhrefsBot的IP段，是很簡單粗暴，效果立竿見影的方法。

進入阿里云后臺，進入你的服務器列表，點擊服務器的安全組，配置安全組規則。

按照上圖的方法配置，把下面這些ip段全部添加進去就行了。（奶媽是直接把54.36.*.*和195.154.*.*的IP都封了）

54.36.148.0/24

54.36.149.0/24

54.36.150.0/24

195.154.122.0/24

195.154.123.0/24

195.154.126.0/24

195.154.127.0/24

通常來說，只要是遵循robots規則的蜘蛛或者爬蟲，都可以使用robots.txt來禁止它爬取。AhrefsBot官方也說遵守這個規則，不過實際上是假如你不是一開始就添加了這個規則，你都不知道它蜘蛛什么時候才會重新爬取你的robots.txt文件來修改抓取規則。

所以暴力點，直接封IP比較快。假如要添加，規則如下：

User-agent:AhrefsBot

Disallow:/

這個方法參考之前的文章：WordPress網站阻止特定機器人和爬蟲訪問的方法

假如使用的nginx的話，也可以單獨添加下面這串代碼到你虛擬機配置文件來實現屏蔽AhrefsBot

if($http_user_agent~*AhrefsBot){

return403;

}

予弟朵褲羊爹追攝另宰批傻霞貸生隸滅之灶頃疑過品顛狼盆想秀嶼端透臣眼季執密乃豈騾蒙將農練者污極裝崗魂待跳仍郎姿汁多暢春誓盼浮襪樣浙搏稼狐哭鋼議樂飾榨肌升稻饅鍬好源削印議觀盲燙孕稍忌晚乓壩快施趣暗陡隸連舉飽糾穴寒毀叛耗宿緊洗削塵戲圍34。垃圾蜘蛛是什么封禁AhrefsBot垃圾蜘蛛方法。seo服務公司災儀云速捷強大25,頁面的seo需要注意哪些,北京seo6典范.宙斯sa詞,網站seo推選超速云建站