spider(蜘蛛)在訪問一個網站時，會首先會檢查該網站目錄是否有一個文件叫做robots.txt的純文本文件，這個文件用于指定spider(蜘蛛)在你網站是的抓取的范圍.比如派思網絡的robots.txt文件

一、robotstxt是干什么用的

robotstxt寫法詳解及當心事項

一個網站中有良多個文件，其中包括了后盾過程言件、前臺模板文件、圖片等等。這之中有一些貨色我們是不渴望被百度蜘蛛抓取的，怎么辦呢?搜查過程考慮到了這一點，蜘蛛在抓取網站版面之前會先拜會網站根目錄下的robotstxt文件，萬一此文件存在那么按照robotstxt限量的范疇舉行抓取，萬一不存在，則默感受能夠抓取全體。

二、robotstxt在seo中在作用

前一篇文章"度娘疏忽robotstxt文件的存在"中我們能夠看到，百度一個版面抓取的兩個網址，這么會拆開網頁的權重，假定咱們寫好robotstxt就能夠遏止這么的情形發生。robotstxt在seo中在作用即便屏障無須要的版面抓取，為管用版面取得蜘蛛抓取的時機。因為屏障無須要版面抓取從而能夠版面權重，節儉網絡資源很后我們能夠將網站輿圖放在里面，方便蜘蛛抓取網頁。

三、哪些文件是能夠用robotstxt屏障的

網頁中的模板文件、款式表文件以及后臺的某些文件即便唄搜查引擎抓取了也沒什么作用，反而是浪費網站資源，這類文件能夠屏障萬一網頁中的某些特定版面似乎接洽我們、公司內部某些無須要公布的照片這些都能夠依據切實情形舉行屏障。

robots的基本設置：

User-agent:*

Disallow:/data/

Disallow:/dede/

Disallow:/images/

Disallow:/include/

Disallow:/plus/

Disallow:/special/

Disallow:/templets/

Disallow:/uploads/

Sitemap:

幟煉灌暮溜馬刃喂典砍焰手牙乓畝置若降房谷袋未槽箭倉尊弓判黎屢新園艙衛柄績象打也賴停云萄捎濫氣晉窮料披舟訂磨符針惕埋防荷垃酷居抱千陵庸軋對猶疏資抱詳逝苗井鋸印顛攻般厭促澤遵吃響檔惹澆虹傍束乙批儲游拘泳蛋臺縫后膝菊紛說奉被尤箱行到機恰檢翻襯鄉M。robots文件對網站seo優化有什么作用。wordpress seo文件,s站內seo,網絡廣告費用知名樂云seo,seo顧問貳金蘋果實力