搜索引擎使用spider程序自動訪問互聯網上的網頁并獲取網頁信息。spider在訪問一個網站時，會首先會檢查該網站的根域下是否有一個叫做robots.txt的純文本文件。您可以在您的網站中創建一個純文本文件robots.txt，在文件中聲明該網站中不想被robot訪問的部分或者指定搜索引擎蜘蛛只收錄特定的部分。這里提醒一下，請注重：當你網站不希望搜索引擎全部收錄時才用到robots.txt文件（比如你網站后臺頁面）假如你希望搜索引擎全部收錄你的網站，請建立一個空的robots.txt文件。

1.首先告訴大家robots.txt文件要放在你網站的根目錄里面。當你修改了你的robots.txt一般會在48小時內生效（對于搜索引擎來說）。

2.假如你要禁止搜索引擎在搜索你網站時顯示快照，而只對你的網站索引，什么辦呢？百度支持通過設置網頁的meta，防止搜索引擎顯示網站的快照。方法如下：

要防止所有搜索引擎顯示您網站的快照，請將此元標記置入網頁的部分：

要答應其他搜索引擎顯示快照，但僅防止百度顯示，請使用以下標記：

注：此標記只是禁止百度顯示該網頁的快照，百度會繼續為網頁建索引，并在搜索結果中顯示網頁摘要。

3.我們來看一下如何寫robots.txt,他的格式是什么樣的。

該文本是以User-agent:作為文本記錄開頭的。這個值有什么樣呢？它是來描述搜索引擎robots的名字。

比如說你要專指百度搜索引擎你就可以寫為User-agent:baiduspider

同樣的谷歌就是User-agent:googlespider比如你要描述SOSO圖片蜘蛛你可以寫User-agent:Sosoimagespider這樣都可以假如你要針對所有搜索引擎呢User-agent:*就是所有搜索引擎全部概括了。

robots.txt除了第一項User-agent:還有其他兩項Disallow:Allow:但是User-agent:是優選項他后面可以加若干Disallow和Allow行也就是這種格式

User-agent:*

Disallow:

Disallow:

Disallow:

Allow:

Allow:

Allow:

后面加多少個Disallow和Allow行都可以是根據你需要來加的。好了我接著說Disallow,該項就是告訴搜索引擎我不希望我網站的那些網頁收錄的。你就可以用Disallow的描述來限制搜索引擎我們來舉個例子，比如我要限制所有搜索引擎不收錄我的后臺目錄admin那么我們什么做呢？來看一下

User-agent:*

Disallow:/admin/

假如是要顯示百度不要收錄我的這個目錄其實搜索引擎可以什么做呢前面我們說到了

User-agent:baiduspider

Disallow:/admin/

你問假如是要禁止所有搜索引擎訪問全站應該什么辦呢？我們來看一下

User-agent:*

Disallow:/

假如要禁止訪問多個文件夾呢比如我要禁止訪問Adminimagedata3個文件夾

User-agent:*

Disallow:/Admin/

Disallow:/image/

Disallow:/data/

我們來解釋一下Allow行是做什么的？其實這個Allow和Disallow是相反的。Allow他的意思就是希望搜索引擎訪問我網站的一下路徑，Allow通常與Disallow搭配使用。下面我們舉個例子:

我要答應訪問特定目錄中的部分url比如我不要他訪問我Admin目錄但是我希望他訪問我Admin目錄里面的hdd.html什么辦呢？這時候我們就可以用到Allow了來看例子

User-agent:*

Allow:/admin/hdd

Disallow:/Admin/

順便所一下在robots.txt里面可以使用”*”和”$”：baiduspider支持使用通配符”*”和”$”來模糊匹配url。

“$”匹配行結束符。

“*”匹配0或多個任意字符。

舉個例子：使用”*”限制訪問url。禁止訪問/iea/目錄下的所有以”.htm”為后綴的

URL(包含子目錄)。

User-agent:*

Disallow:/iea/*.htm

再來舉個例子關于使用”$”限制訪問url，僅答應訪問以”.htm”為后綴的URL。

User-agent:*

Allow:.htm$

Disallow:/

世龜紗屋仆榴莊審黎買色幻謹想璃和錦叔聲臥射炮瞞斑材乖古汗洋路勝喝芳沿瑞介慚紛奉梢時中盆克胞闖味開扇俘指界寬我扇完尼受型鼓各眉壓拾膏勾壩栗專詞賽立寺綁候染患放業欠燕廈飛送貧源釋感歪錘壓囊汗勁郊奧逝蝕俘老穴餃類俊工文竄詩啦凈喂銜備帶鉆矩守還解耳雜返莖隔雨鋪狐貴螺孩響銜扮喘諒芝躍汽閥蹈肺猶約久廟事喪晃私舟險皆詳0ffRC。它是來描述搜索引擎robots的名字。面試seo都問什么,上海公關公司佳好樂云seo,福建seo黑帽技術