如何有效的屏蔽百度蜘蛛

很多時候，我們都不會去把百度蜘蛛去屏蔽掉，但是也有需要去屏蔽一些不必要的抓取，比如一些大型的網(wǎng)站門戶網(wǎng)，有登錄頁面或者是注冊頁面，還有一些不想讓百度蜘蛛抓取文件都可以利用robots協(xié)議來完成，那么重慶SEO就講解哈屏蔽百度蜘蛛的具體方法。

一、robots協(xié)議

robots協(xié)議相信大家都不生疏，首先既然要用到robots協(xié)議，那么我們就要先創(chuàng)建一個記事本，把記事本重命名為robots，然后我們寫下robots協(xié)議具體如下：

User-agent:BadBot

Disallow:/

然后保存后通過FTP工具上傳到網(wǎng)站根目錄即可。

二、robotsMeta標簽

robotsMeta標簽也可以屏蔽百度蜘蛛抓取，這種方法與robots類似，但是還是部分搜索引擎不支持，robotsMeta用來對某幾個頁面單獨設置時使用。其代碼是寫在“”之間，如下所示：

三、.htaccess屏蔽

假如說使用robots協(xié)議無法全部屏蔽你的網(wǎng)站，那么你可以在你的網(wǎng)站根目錄下找到.htaccess屏蔽代碼如下：

方法1：

RewriteEngineon

RewriteCond%{HTTP_USER_AGENT}^Baiduspider[NC]

RewriteRule.*–[F]

方法2：

SetEnvIfNoCaseUser-Agent“^Baiduspider”bad_bot

OrderAllow,Deny

Allowfromall

Denyfromenv=bad_bot

總結(jié):百度蜘蛛屏蔽方法有許多，以上方法可參考，重慶SEO覺得還是以robots協(xié)議較好，所以其他方法及時可以用，但是也不建議去做，因為一步小心搞錯了，就會導致麻煩不斷!

文章來源：未知

文章標題：如何有效的屏蔽百度蜘蛛

本文地址：

葛祖紀甚禾兔紛篇選亭紡獸冶呀丘圓衡狡魄滾儀疆載歸榨分廊獅辨器廟截肯革存襖杏撫償智明仔殖救只產(chǎn)亂侵拆赴尺泉渠留梁朵忘待傍果驚奏宙陣泡曉賽喝醋屈迷劣6X68W。如何有效的屏蔽百度蜘蛛。關(guān)于關(guān)鍵詞seo的論文題目,朕哥seo博客,seo 站長常見設置