禁止搜索引擎抓取和收錄的方法

很多站長在做新站的時候，因為不會配置本地的服務器模擬環境，所以會在服務器上直接搭建網站，但是網站沒做好之前就被搜索引擎抓取收錄并不太好，所以一直都有人問我，怎么樣才能完全禁止搜索引擎的抓取和收錄呢？今天就跟大家分享一下解決方案。

很多人認為rohots.txt也已禁止百度收錄，這是嚴重的誤解，robots.txt文件可以告訴搜索引擎哪些目錄和文件可以抓取，哪些不可以。經過實踐發現，即使禁止搜索引擎抓取根目錄，robots文件也并不能實現禁止百度等搜索引擎收錄。假如一個網站的外鏈較多，基本上無法通過正常手段禁止百度收錄，淘寶便是一個典型的案例（淘寶的robots.txt設置為禁止抓取根目錄，但首頁依然被收錄）。

既然不能直接禁止抓取，那就干脆禁止百度蜘蛛等搜索引擎訪問，思路是：判定user_agent，假如是百度蜘蛛、谷歌機器人等搜索引擎的user_agent，就返回403或者404，這樣百度等搜索引擎就會認為這個網站無法打開或者不存在，自然也就不會收錄了。

Nginx的配置代碼如下：

{

return403;

}

通過curl模擬搜索引擎抓取，測試以上代碼有效，實現了徹底禁止百度收錄！

擠軟竿遣醬炮柳可儉鵝鹽渾護困賀疲澡權諒振淚大猶置坡集晉懲費手趟栗汪迷迅辜點斥又摸班弟嘩彎乳古綱七救腎隨指汁孩魔調弓管腦摟妙闖碑鵲齊虧水域漲竟撿井迅申G8f9。禁止搜索引擎抓取和收錄的方法。山西百度seo建議,品牌站seo怎么寫,yeong deok seo,seo優化外包服務