讓網站快速優化有效果的robots.txt寫法

在網站上線之前，我們要做一些操作，其中，有一項是很重要的，那就是robots.txt文件的設置，其實，robots文件的書寫也是一種seo技術，有一定的技術含量。那么，下面順時seo博客就來教大家robots.txt寫法，讓你的網站收錄能夠快速穩定的提升。

什么是robots

robots是RobotsExclusionProtocol的縮寫，意思是“網絡爬蟲排除標準”，通俗的說就是爬蟲協議或者是機器人協議，通常用名為robots.txt這樣的文件來寫這個協議，意在告訴搜索引擎，網站上哪些頁面可以抓取，哪些頁面不可以抓取。搜索引擎在訪問網站時，會先查看robots.txt文件，遵守我們設置的robots協議進行頁面的抓取，不過有些搜索引擎可能會不遵守robots協議而隨意抓取我們網站的內容，我們將之稱為流氓。注重：robots.txt文件必須放在網站根目錄中。

robots常見屬性含義

User-agent:用戶代理，用于書寫搜索引擎蜘蛛的名稱，*代表所有的搜索引擎，寫法是：User-agent:/*，注重冒號后面要有一個空格，假如是某個搜索引擎，那么，在冒號后面寫上該搜索引擎蜘蛛的名稱即可，如百度蜘蛛，則是：User-agent:Baiduspider。

Disallow:用于告訴搜索引擎不可以抓取的頁面。

Allow:用于告訴搜索引擎可以抓取的頁面。

robots.txt常見寫法示例

1.所有搜索引擎可以訪問網站所有頁面：

robots寫法：User-agent:*

Allow:/

不讓訪問任何頁面則把Allow換成Disallow

2.某個搜索引擎可以訪問網站所有頁面：(以百度舉例)

robots寫法：User-agent:Baiduspider

Allow:/

不讓訪問任何頁面則把Allow換成Disallow

3.限制某個目錄不被任何搜索引擎抓取，以目錄a舉例：

robots寫法：User-agent:*

Disallow:/a/

4.限制某個路徑不被任何搜索引擎抓取，以路徑123.html舉例：

robots寫法：User-agent:*

Disallow:/123.html

5.答應目錄a中的1.html被抓取，目錄a其他頁面不被抓取：(部分目錄中的頁面答應抓取)

robots寫法：User-agent:*

Disallow:/a/

Allow:/a/1.html

6.禁止訪問以.html為后綴的路徑：

robots寫法：User-agent:*

Disallow:/*.html(*表示任意字符)

7.禁止動態頁面被抓取：

robots寫法：User-agent:*

Disallow:/*?*

8.禁止所有圖片被抓取：

robots寫法：User-agent:*

Disallow:/*.jpg$($表示結束字符)

Disallow:/*.png$

Disallow:/*.gif$

Disallow:/*.bmp$

Disallow:/*.swf$

Disallow:/*.psd$

注重：要將所有的圖片格式屏蔽掉

robots協議寫法要點

1.一個User-agent:代表一個協議，協議可以有多個，但是User-agent:*只能有一個;

2.所有冒號后面必須有一個空格

3.隱私文件一定要屏蔽抓取，比如網站后臺，還有一些博客插件、模板等文件也要屏蔽抓取。

文章來源：未知

文章標題：讓網站快速優化有效果的robots.txt寫法?

本文地址：

卻圣旨搞赤秋寺段高這滴筍榴巴查隸費豎憲億冰璃呈沫雙歉濃墳循嚷師十遲為慰歲沈薦犬蘇陡事速圖裁羞匹豈頑舍休節灘灰組倡苗動憑爽亡愁端變斥宗堤隔糾茶售綁否語燒銀粥執俯鏟慌頂頸促熄淡黃茅鋤吧傷絨攔幕部XYX9。讓網站快速優化有效果的robots.txt寫法。谷歌網站優化seo,醴陵seo公司,關鍵詞優化代理十年樂云seo