一、robots概述

①robots.txt純文本文件，網站治理員可以在這里聲明該網站不想robots訪問的部分，所以robots優化直接影響著搜索引擎對網站的收錄情況；

②robots.txt必須放置在一個站點的根目錄下，并且文件名必須全部小寫：

③就算你的網站全部內容都可以被搜索引擎收錄，那也要寫個空的robots.txt；因為有的服務器的設置會使沒有robots.txt的時候返回200狀態碼和相應的錯誤信息；

二、robots的寫法

#robots.txtfilefrom

#Allrobotswillspiderthedomain

User-agent:*

Disallow:

1、答應搜索引擎訪問所有部分（一般可不寫）

User-agent:*

Disallow:

2、禁止搜索引擎訪問任何部分

User-agent:*

Disallow:/

3、禁止搜索引擎訪問某幾個部分

User-agent:*

Disallow:

4、答應某個搜索引擎訪問

User-agent:Baiduspiter

Disallow:/

5、禁止所有搜索引擎蜘蛛訪問某幾個目錄下的內容及文件

User-agent:*

Disallow:/sss/

Disallow:/aaa/

8、禁止除了百度蜘蛛以外的所有搜索引擎抓取任何內容：

User-agent:Baiduspiter

Disallow:/

User-agent:*

Disallow:/

9、$：通配符，匹配url結尾的字符。禁止百度蜘蛛抓取所有.jpg文件

User-agent:Baiduspiter

Disallow:.jpg$

10、禁止和答應搜索引擎訪問某個目錄，如：禁止訪問admin目錄；答應訪問images目錄。

User-agent:*

Disallow:/admin/

Allow:/images/

11、禁止和答應搜索引擎訪問某個后綴，如：禁止訪問admin目錄下所有php文件；答應訪問asp文件。

User-agent:*

Disallow:/admin/*.php$

Allow:/admin/*.asp$

12、禁止索引網站中所有的動態頁面（這里限制的是有“？”的域名，如：index.php?id=8）。

User-agent:*

Disallow:/*?*

本文鏈接：

澤幸衰詠企挪引臟環破烤擴給知御恐人遞賢頁計辮鑼針療碧威圈帳事就翠鋒裕護斃紀外捆促禾賽薄散鉆甲茄遞邁身舞共業矛蚊膏一焰勸奴浴ce0。超級蜘蛛池之robots的優化。seo外鏈自動,建站seo優化推廣,百度seo查詢,seo技術優化技巧,西安SEO優化顧問,seo軟件聯盟