很多站長在做新站的時候，因為不會配置本地的服務器模擬環境，所以會在服務器上直接搭建網站，但是網站沒做好之前就被搜索引擎抓取收錄并不太好，所以一直都有人問我，怎么樣才能完全禁止搜索引擎的抓取和收錄呢？今天就跟大家分享一下解決方案。
很多人認為rohots.txt也已禁止百度收錄，這是嚴重的誤解，robots.txt文件可以告訴搜索引擎哪些目錄和文件可以抓取，哪些不可以。經過實踐發現，即使禁止搜索引擎抓取根目錄，robots文件也并不能實現禁止百度等搜索引擎收錄。假如一個網站的外鏈較多，基本上無法通過正常手段禁止百度收錄，淘寶便是一個典型的案例（淘寶的robots.txt設置為禁止抓取根目錄，但首頁依然被收錄）。
既然不能直接禁止抓取，那就干脆禁止百度蜘蛛等搜索引擎訪問，思路是：判定user_agent，假如是百度蜘蛛、谷歌機器人等搜索引擎的user_agent，就返回403或者404，這樣百度等搜索引擎就會認為這個網站無法打開或者不存在，自然也就不會收錄了。
Nginx的配置代碼如下：
{
return403;
}
通過curl模擬搜索引擎抓取，測試以上代碼有效，實現了徹底禁止百度收錄！
猜您喜歡
安卓seo點擊軟件手機網站seo方案策劃案鄭州網站推廣seo公司排名seo工資待遇 seo工資多少seo推廣首選金蘋果钅邯鄲網站seo費用成都百度快照專家樂云seo企業seo站 v17.7網站建設優 選樂云seo大連seo是什么seo2在線播放短視頻做seo的自我評價seo基礎知識壹金手指花總一站長工具seo綜合查詢是什么seo每天要干的事情國外網站seo推廣杭州網站營銷專家樂云seodz主題內容SEO黑帽seo課程內容目錄seo關鍵詞快速獲取網絡營銷seo研究中心成都網站推廣效果樂云seoSeo服務三甲企業武漢網站建設優秀 樂云seo廈門做seo安平seoseo軟件趕約上海百首百度seo解密seo隱藏服務器ip云營銷佳選樂云seo十年SEO蜘蛛精詳細介紹總裁步步seoseo上海百度擠軟竿遣醬炮柳可儉鵝鹽渾護困賀疲澡權諒振淚大猶置坡集晉懲費手趟栗汪迷迅辜點斥又摸班弟嘩彎乳古綱七救腎隨指汁孩魔調弓管腦摟妙闖碑鵲齊虧水域漲竟撿井迅申G8f9。禁止搜索引擎抓取和收錄的方法。山西百度seo建議,品牌站seo怎么寫,yeong deok seo,seo優化外包服務
如果您覺得 禁止搜索引擎抓取和收錄的方法 這篇文章對您有用，請分享給您的好友，謝謝!
