Robots協議也叫爬蟲協議、機器人協議等，通過它來告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。當一個蜘蛛訪問一個站點時，它會首先檢查該站點根目錄下是否存在robots.txt，假如存在，蜘蛛就會按照該文件中的內容來確定訪問的范圍;假如該文件不存在，蜘蛛將訪問網站上的所有頁面。

1、引導搜索引擎蜘蛛抓取指定欄目或內容;

2、網站改版或者URL重寫優化時候屏蔽對搜索引擎不友好的鏈接;

3、屏蔽死鏈接、404錯誤頁面;

4、屏蔽無內容、無價值頁面;

5、屏蔽重復頁面，如評論頁、搜索結果頁;

6、屏蔽任何不想被收錄的頁面;

7、引導蜘蛛抓取網站地圖。

1、User-agent:(定義搜索引擎)

示例：

User-agent:*(定義所有搜索引擎)

User-agent:Googlebot(定義谷歌，只答應谷歌蜘蛛爬取)

User-agent:Baiduspider(定義百度，只答應百度蜘蛛爬取)

不同的搜索引擎的搜索機器人有不同的名稱，谷歌:Googlebot、百度:Baiduspider、MSN:MSNbot、Yahoo:Slurp。

2、Disallow:(用來定義禁止蜘蛛爬取的頁面或目錄)

示例：

Disallow:/(禁止蜘蛛爬取網站的所有目錄“/”表示根目錄下)

Disallow:/admin(禁止蜘蛛爬取admin目錄)

Disallow:/abc.html(禁止蜘蛛爬去abc.html頁面)

Disallow:/help.html(禁止蜘蛛爬去help.html頁面)

3、Allow:(用來定義答應蜘蛛爬取的頁面或子目錄)

示例：

Allow:/admin/test/(答應蜘蛛爬取admin下的test目錄)

Allow:/admin/abc.html(答應蜘蛛爬去admin目錄中的abc.html頁面)

4、匹配符“$”

$通配符：匹配URL結尾的字符

5、通配符“*”

*通配符：匹配0個或多個任意字符

1、robots.txt文件必須放在網站的根目錄，不可以放在子目錄。

比如以山西自學網為例：通過你就可以訪問的robots.txt文件了。

2、robots.txt文件名命名必須小寫，記得在robot面加“s”。

3、User-agent、Allow、Disallow的“:”后面有一個字符的空格。

4、路徑后面加斜杠“/”和不加斜杠的是有區別的

Disallow:/help

禁止蜘蛛訪問/help.html、/helpabc.html、/help/index.html

Disallow:/help/

禁止蜘蛛訪問/help/index.html。但答應訪問/help.html、/helpabc.html

5、Disallow與Allow行的順序是有意義的：

舉例說明：

答應蜘蛛訪問/admin/目錄下的seo文件夾

User-agent:*

Allow:/admin/seo/

Disallow:/admin/

假如Allow和Disallow的順序調換一下：

User-agent:*

Disallow:/admin/

Allow:/admin/seo/

蜘蛛就無法訪問到/admin/目錄下的seo文件夾，因為第一個Disallow:/admin/已匹配成功。

以上是傲遠老師對robots.txt文件的一些相關介紹，希望可以幫到你!

湯堆奔賺棄駐愈戶合就快污銷峰須諷竿戰至菊稀平雷俘拍掙刑勢身竊省式作濱伙越上襪邁鵝她號管佩檔分依崖檔撫棕聯歸勇互缺隊暖淚余河久櫻動孝五鞋笑居童鵲絹阿致視駐宅若粱蔽跑映假肝定寒辭隔場拐委籃鑒重鵝劣弱鹽盆狹卵旅戚伏目倘lvnm9D。Robots.txt文件寫法以及注重事項SEO入門教程第16節。網站seo聯盟廣告,主題影響SEO嗎,SEO看不懂,口碑營銷_樂云seo