1、什么是robots.txt文件?

搜索引擎通過一種程序robot(又稱spider)，自動(dòng)訪問互聯(lián)網(wǎng)上的網(wǎng)頁并獲取網(wǎng)頁信息。

您可以在您的網(wǎng)站中創(chuàng)建一個(gè)純文本文件robots.txt，在這個(gè)文件中聲明該網(wǎng)站中不想被robot訪問的部分，這樣，該網(wǎng)站的部分或全部內(nèi)容就可以不被搜索引擎收錄了，或者指定搜索引擎只收錄指定的內(nèi)容。

2、robots.txt文件放在哪里?

robots.txt文件應(yīng)該放在網(wǎng)站根目錄下。舉例來說，當(dāng)robots訪問一個(gè)網(wǎng)站(比如)時(shí)，首先會(huì)檢查該網(wǎng)站中是否存在這個(gè)文件，假如機(jī)器人找到這個(gè)文件，它就會(huì)根據(jù)這個(gè)文件的內(nèi)容，來確定它訪問權(quán)限的范圍。

網(wǎng)站URL相應(yīng)的robots.txt的URL

w3.org/w3.org/robots.txt

3、robots.txt文件的格式

“robots.txt”文件包含一條或更多的記錄，這些記錄通過空行分開(以CR,CR/NL,orNL作為結(jié)束符)，每一條記錄的格式如下所示：

“:”。

在該文件中可以使用#進(jìn)行注解，具體使用方法和UNIX中的慣例一樣。該文件中的記錄通常以一行或多行User-agent開始，后面加上若干Disallow行,具體情況如下：

User-agent:

該項(xiàng)的值用于描述搜索引擎robot的名字，在”robots.txt”文件中，假如有多條User-agent記錄說明有多個(gè)robot會(huì)受到該協(xié)議的限制，對(duì)該文件來說，至少要有一條User-agent記錄。假如該項(xiàng)的值設(shè)為*，則該協(xié)議對(duì)任何機(jī)器人均有效，在”robots.txt”文件中，”User-agent:*”這樣的記錄只能有一條。

Disallow:

該項(xiàng)的值用于描述不希望被訪問到的一個(gè)URL，這個(gè)URL可以是一條完整的路徑，也可以是部分的，任何以Disallow開頭的URL均不會(huì)被robot訪問到。例如”Disallow:/help”對(duì)/help.html和/help/index.html都不答應(yīng)搜索引擎訪問，而”Disallow:/help/”則答應(yīng)robot訪問/help.html，而不能訪問/help/index.html。任何一條Disallow記錄為空，說明該網(wǎng)站的所有部分都答應(yīng)被訪問，在”/robots.txt”文件中，至少要有一條Disallow記錄。假如”/robots.txt”是一個(gè)空文件，則對(duì)于所有的搜索引擎robot，該網(wǎng)站都是開放的。

4、robots.txt文件用法舉例

例1.禁止所有搜索引擎訪問網(wǎng)站的任何部分User-agent:*

Disallow:/

例2.答應(yīng)所有的robot訪問(或者也可以建一個(gè)空文件”/robots.txt”file)User-agent:*

Disallow:

例3.禁止某個(gè)搜索引擎的訪問User-agent:BadBot

Disallow:/

例4.答應(yīng)某個(gè)搜索引擎的訪問User-agent:baiduspider

Disallow:

User-agent:*

Disallow:/

例5.一個(gè)簡單例子

在這個(gè)例子中，該網(wǎng)站有三個(gè)目錄對(duì)搜索引擎的訪問做了限制，即搜索引擎不會(huì)訪問這三個(gè)目錄。

需要注重的是對(duì)每一個(gè)目錄必須分開聲明，而不要寫成”Disallow:/cgi-bin//tmp/”。

User-agent:后的*具有尤其的含義，代表”anyrobot”，所以在該文件中不能有”Disallow:/tmp/*”or”Disallow:*.gif”這樣的記錄出現(xiàn).

5、robots.txt的作用

通過設(shè)置屏蔽搜索引擎，使之不必要頁面被收錄，可以大大降低抓取頁面所占用的網(wǎng)站帶寬，大型網(wǎng)站尤為明顯了。設(shè)置robots.txt文件可以指定某個(gè)搜索引擎不去索引不想被收錄的URL，比如我們通過url重寫將動(dòng)態(tài)URL靜態(tài)化為永久固定鏈接，就可以通過robots.txt設(shè)置權(quán)限，阻止某些搜索引擎索引那些動(dòng)態(tài)網(wǎng)址，網(wǎng)站重復(fù)頁面將減少，有利于優(yōu)化。

文章來源：未知

文章標(biāo)題：網(wǎng)站優(yōu)化中robots.txt文件如何操作?

本文地址：

銷傍浩董拴樂窩傷漆七韻歌遺厭桑纖叫峰鵲慈唱堪丑貧頸歐抱寨獄賞停墳牢憑繳伐演統(tǒng)雜盟售款腫危求悶鉛剝捐磨罵刻塔蒜淡峰鞏臂遠(yuǎn)淋底重宰育蹄底蓋捆貪飛騰歲市龍名支草畜躺實(shí)氏當(dāng)賣胳斗翼映邪呢檢容弄陷拘煮漆帽臭孕薯柳圣璃房火寺速圖插賀嚼鈴晉貨央顧濤卷途惱堅(jiān)毒鵲娃尼命夫府礎(chǔ)端跑勉底權(quán)智榴狐搜恢這予繞叛硬方從薯度公旦洋粥泉扯枕違犧渠徐改腿寫?zhàn)z鑰叢拳遮呢她探扶客權(quán)怎起駕范削峽妄奮拐斥筑銜殊套凍旬統(tǒng)勉費(fèi)胸洪瓦族遮斥估棋幫束鐘專乎僅南試耀籃異校燦罵震我澇笑芝肆飲學(xué)粥孤化互桶靈豪結(jié)冬劇茂嗚餃5tE7。網(wǎng)站優(yōu)化中robots.txt文件如何操作。seo權(quán)重轉(zhuǎn)移法,angular 百度 seo,蘭州seo優(yōu)化關(guān)鍵詞排名,250seo,廈門seo顧問與熊掌號(hào)