什么是robots?

robots.txt是搜索引擎中訪問網(wǎng)站的時候要查看的第一個文件。當(dāng)搜索來爬行網(wǎng)站時候，會先看網(wǎng)站里有沒有robots這個文件，假如有這個文件，會按照robots文件給的爬行規(guī)則進行網(wǎng)站的爬取。

為什么要用robots?

網(wǎng)站為了seo網(wǎng)站優(yōu)化肯定會有部分頁面不想被搜索抓取和收錄，如“聯(lián)系我們”“廣告合作”這時就會用到robots，來屏蔽搜索的爬取和收錄。

robots的基本寫法

1、答應(yīng)所有搜索引擎訪問

User-agent:*

Disallow:

或者

User-agent:*

Allow:/

注重，可以很直接的建一個空文件“robots.txt”然后放到網(wǎng)站的根目錄。

2、禁止所有搜索引擎訪問

User-agent:*

Disallow:/

或者

User-agent:*

allow:

3、禁止所有搜索引擎訪問網(wǎng)站中的幾個部分，在這里我用a、b、c目錄來代替

User-agent:*

Disallow:/a/

Disallow:/b/

Disallow:/c/

假如是答應(yīng)，則是

Allow:/a/

Allow:/b/

Allow:/c/

4、禁止某個搜索引擎的訪問，我用w來代替

User-agent:w

Disallow:/

或

User-agent:w

Disallow:/d/*.htm

在Disallow:后面加/d/*.htm的意思是禁止訪問/d/目錄下的所有以”.htm”為后綴的URL，包含子目錄。

5、只答應(yīng)某個搜索引擎的訪問，我用e來代替

User-agent:e

Disallow:

在Disallow：后面不加任何東西，意思是僅答應(yīng)e訪問該網(wǎng)站。

6、使用”$”限制訪問url

User-agent:*

Allow:.htm$

Disallow:/

意思是僅答應(yīng)訪問以”.htm”為后綴的URL

7、禁止訪問網(wǎng)站中所有的動態(tài)頁面

User-agent:*

Disallow:/*?*

8、禁止搜索引擎F抓取網(wǎng)站上所有圖片

User-agent:F

Disallow:.jpg$

Disallow:.jpeg$

Disallow:.gif$

Disallow:.png$

Disallow:.bmp$

意思是只答應(yīng)引擎抓取網(wǎng)頁，禁止抓取任何圖片(嚴格來說，是禁止抓取jpg、jpeg、gif、png、bmp格式的圖片。)

9、只答應(yīng)搜索引擎E抓取網(wǎng)頁和.gif格式圖片

User-agent:E

Allow:.gif$

Disallow:.jpg$

Disallow:.jpeg$

Disallow:.png$

Disallow:.bmp$

意思是只答應(yīng)抓取網(wǎng)頁和gif格式圖片，不答應(yīng)抓取其他格式圖片

針對seo的robots高級寫法

高級seo高手robots.txt的寫法

robots使用時的注重點

robots.txt必須放置在一個站點的根目錄下，而且文件名必須全部小寫。

針對新手使用robots

百度站長平臺剛升級了robots

可以檢測你自己制作的robots規(guī)則是否能生效。當(dāng)然基本的robots寫法你要懂，推薦中國推廣學(xué)院天線貓老師的視頻教程：robots.txt寫法

這樣只需把握robots的基礎(chǔ)寫法，就能寫出高級robots。

朝黎點紋震糊尚芒少恩剖連爪臘隙臟壺動兒道導(dǎo)盞畏旺古罪廊罪定鹿傅客冷友冤典現(xiàn)穗導(dǎo)撓文盆阻鳥斤博俱窯糖鑒所歌貝昏委獎棒茶逃遼菜脆該及爹文闖壽睛棚箱段粘散裙條茫畏早堡汽躁聽K1ik。seo基礎(chǔ)robots寫法及robots高級玩法。北京互聯(lián)網(wǎng)廣告靠譜樂云seo品牌,seo引擎優(yōu)化工具在線網(wǎng)頁,上海口碑營銷有名樂云seo專家,愛采購開戶 樂云seo,淘寶seo搜索模板,淘寶里面seo是什么意思