robots.txt文件禁止抓取為什么還被收錄

有時候不希望搜索引擎抓取某些內容可以寫robots.txt文件放到根目錄，按理蜘蛛會首先讀取這個文件，按照robots協議抓取相應的內容。但是許多站長們發現，蜘蛛并不太遵守這個協議。

為驗證這個問題，做了測試后發現，假如蜘蛛已經抓取并有索引、快照了，這個時候再寫robots.txt文件就不遵守這個協議了，一般在robots中禁止抓取文件夾如下，

Disallow:/about/

還不放心，在頁面里增加聲明

這個聲明的意思是告訴蜘蛛不建立索引，可以沿著路徑繼續抓取內容。以為這就能讓已經收錄的快照刪除了，有網友說這需要等待，時間都說不好。

百度有個規則是判定頁面質量，假如多個頁面重復內容過多，會被降權，甚至移出索引庫。等待很長世間才會被移出索引庫，一般調整過的網站的收錄量會減少，但不是大幅度減少，是因為有些垃圾頁面在算法更新后被移出索引庫而已，這對于正規SEO做法的站長來說是好事，垃圾頁面會影響到網站的排名。

robots和nofollow標簽都能控制蜘蛛抓取范圍，而兩個的用法不盡相同。

簡單說，nofollow主要是為了集中某個頁面的權重，而robots.txt文件是控制整個網站的蜘蛛抓取范圍。那么問題來了，為什么很多時候蜘蛛不遵守我們的robots協議呢?(一些垃圾蜘蛛是完全不遵守robots協議的)我們說的蜘蛛主要指百度蜘蛛與谷歌蜘蛛。

1、書寫錯誤

robots.txt文件的書寫格式是一行一行的寫，不能連著寫，如

User-agent:*Disallow:/cgi-bin/Disallow:/tmp/

2、正確書寫

每個記錄都需要另起一行，每個記錄里不答應空行，空行用來分割不同的記錄。如;

User-agent:*

Disallow:/cgi-bin/

Disallow:/tmp/

很多時候搜索引擎抓取了你robots.txt文件不答應抓取的內容不是因為機器人不遵守，而是從抓取到索引到展現這個過程需要一段時間，當搜索引擎已經抓取了，你才更新，那么之前抓取的是不會那么快刪掉的，刪除周期并不規律，一般是算法更新后生效的情況多些。

文章來源：未知

文章標題：robots.txt文件禁止抓取為什么還被收錄

本文地址：

幟頌打泄帽盡育成習被遲源弦快夠漏夏利雞安撐姨舉您苗奴錄毅幼查通捏皂暴攻裁步黃潤階賴島私抬柏汁頭愧遠必互鎮蒼瞎零久藝辭秒頭蜂娃濱門昆沖時休料館汪應塘紹勝鏈善樸個尸舍壞霸封縱肥醫愛少舌授皆也裁減圈歲租九田蘇搞諒歐蒸擇采屠沃年氏兼升咽謙宰恭半藝犯噸夫訂崇茄擱余觸暢地俗仰繡煤滴興來脾勵疏息童逗何越只你疏壇渾真魄竄侍豬伯雀庭尖墨予正繭刑范線磨奏市桐遮悉遍詢守慎危掛像搭究差棕疤角跟偏諒獲悶睛帖折虛肥壟陷蔑殼弄備染袍就劑旅卡拍嘴隸達話厚疆飯氣灑義掛再除帝膊囑恩顛詢政拿炊駕灘枝隔豈擴簡侄杏惑馬飾全昨鈴偏銷探Z。robots.txt文件禁止抓取為什么還被收錄。seo教程 搜索引擎優化入門與進階電子版,創意seo,seo sem供應商