利于優(yōu)化排名的Robots.txt協(xié)議正確寫法

文章目錄[隱藏]

為什么要有robots協(xié)議

robots協(xié)議寫法

Robots協(xié)議的檢查

Robots協(xié)議書寫注重事項(xiàng)

說到robots我們先看一個(gè)例子：

說到百度和淘寶，不得不提一件事，2008年，馬云做了個(gè)異常霸氣的決定，那就是淘寶在robots.txt協(xié)議中屏蔽百度蜘蛛的抓取，這也就是為什么淘寶店鋪無法通過百度搜索引起獲得流量的原因，對此馬云的解釋是百度帶來的流量都是垃圾流量，沒有轉(zhuǎn)化率，不過真的是這樣的嗎？

百度在2008年很高調(diào)的推出了百度有啊購物平臺(tái)，立志成為很好的電商平臺(tái)，成了淘寶的直接對手，面對如此強(qiáng)大的對手，馬云必須在其擴(kuò)大之前消滅他，屏蔽百度收錄淘寶可以導(dǎo)致消費(fèi)者在購物之前不會(huì)在百度中搜索產(chǎn)品類名稱，比如牛仔褲、休閑褲、連衣裙等，因?yàn)樘詫氁呀?jīng)強(qiáng)大到讓消費(fèi)者把淘寶和網(wǎng)購這兩個(gè)詞等同的地步，當(dāng)用戶不再百度上面搜索產(chǎn)品名稱，那么百度就將失去網(wǎng)購這塊市場。事實(shí)證實(shí)馬云的這招很成功，讓百度失去了網(wǎng)購市場，打敗了百度有啊，百度有啊不久就接近關(guān)閉狀態(tài)了。

淘寶的robots協(xié)議：

百度百科對robots的定義：Robots協(xié)議（也稱為爬蟲協(xié)議、機(jī)器人協(xié)議等）的全稱是“網(wǎng)絡(luò)爬蟲排除標(biāo)準(zhǔn)”（RobotsExclusionProtocol），網(wǎng)站通過Robots協(xié)議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。簡單來說就是網(wǎng)站和搜索引擎簽署的一個(gè)協(xié)議，協(xié)議里面的路徑不要抓取收錄。

Robots協(xié)議也就是robots.txt文本文件，當(dāng)一個(gè)搜索蜘蛛訪問一個(gè)站點(diǎn)時(shí)，它會(huì)首先檢查該站點(diǎn)根目錄下是否存在robots.txt。假如存在，搜索爬蟲就會(huì)按照該文件中的內(nèi)容來確定訪問的范圍；假如robots.txt文件不存在，搜索爬蟲將會(huì)抓取網(wǎng)站上所有沒有被口令保護(hù)的頁面。

網(wǎng)站里面有低質(zhì)量、死鏈接內(nèi)容這樣的建議屏蔽，百度假如抓取你的好多低質(zhì)量頁面會(huì)拉低網(wǎng)站的質(zhì)量降低權(quán)重影響搜索引擎對你網(wǎng)站的印象，比如男女開始談對象都會(huì)把不好的一面藏起來，還有網(wǎng)站后臺(tái)會(huì)員隱私一般都屏蔽。

User-agent:該項(xiàng)的值用于描述搜索引擎robot的名字。在"robots.txt"文件中，假如有多條User-agent記錄，說明有多個(gè)robot會(huì)受到"robots.txt"的限制，對該文件來說，至少要有一條User-agent記錄。假如該項(xiàng)的值設(shè)為*，則對任何robot均有效，在"robots.txt"文件中，"User-agent:*"這樣的記錄只能有一條。

Disallow:該項(xiàng)的值用于描述不希望被訪問的一組URL，這個(gè)值可以是一條完整的路徑，也可以是路徑的非空前綴，以Disallow項(xiàng)的值開頭的URL不會(huì)被?robot訪問。

Allow:該項(xiàng)的值用于描述希望被訪問的一組URL，與Disallow項(xiàng)相似，這個(gè)值可以是一條完整的路徑，也可以是路徑的前綴，以Allow項(xiàng)的值開頭的URL?是答應(yīng)robot訪問的。

"*"?通配符，匹配0或多個(gè)任意字符。

"$"匹配行結(jié)束符。

Sitemap網(wǎng)站地圖路徑

百度會(huì)嚴(yán)格遵守robots的相關(guān)協(xié)議，請注重區(qū)分您不想被抓取或收錄的目錄的大小寫，百度會(huì)對robots中所寫的文件和您不想被抓取和收錄的目錄做正確匹配，否則robots協(xié)議無法生效。

舉例說明

例1：禁止所有搜索引擎訪問網(wǎng)站的任何部分

User-agent:*

Disallow:/

例2：答應(yīng)所有的蜘蛛訪問網(wǎng)站任何部分你也可以建立一個(gè)空文件robots.txt

User-agent:*

Allow:/

例3：只禁止某一個(gè)蜘蛛訪問您的網(wǎng)站

User-agent:?Baiduspider

Disallow:/

例4：只答應(yīng)某一個(gè)蜘蛛訪問您的網(wǎng)站

User-agent:?Baiduspider

Allow:/

User-agent:*

Disallow:/

例6：禁止蜘蛛抓取特定的路徑

User-agent:*

Disallow:/aaa/???????禁止所有蜘蛛訪問"aaa"路徑下的文件

Disallow:/bbb/??????禁止所有蜘蛛訪問"bbb"路徑下的文件

Disallow:/aaa/ccc/??禁止所有蜘蛛訪問"aaa"下面的ccc路徑

Disallow:/aaa/*.html??禁止訪問aaa路徑下的所有帶.html為后綴的路徑

Disallow:/*?*????????禁止訪問網(wǎng)站中所有的帶問號(hào)路徑即動(dòng)態(tài)頁面

Disallow:/*?$????????禁止訪問網(wǎng)站以問號(hào)結(jié)尾的任何路徑

Disallow:/*.php$?????禁止訪問以.php為結(jié)尾的任何路徑

例7：僅答應(yīng)訪問某個(gè)特定的路徑

User-agent:*

Disallow:/

Allow:/*.html???????只答應(yīng)訪問網(wǎng)站以.html為后綴的路徑

例8：禁止抓取某種格式圖片

User-agent:*

Disallow:/*.jpg$

Disallow:/*.gif$

Disallow:?/*.png$

網(wǎng)站的robots協(xié)議是一個(gè)txt文本文件，robots.txt文件寫好后要放到網(wǎng)站的根目錄，可以通過訪問路徑：你的域名/robots.txt來檢查正確性，可以在百度的站長平臺(tái)檢查協(xié)議正確與否，同時(shí)把網(wǎng)站地圖路徑加進(jìn)去很好，有利于蜘蛛爬去和收錄您的網(wǎng)頁。

robots協(xié)議里的面首字母要大寫，字母后面的冒號(hào)必須是英文狀態(tài)；

冒號(hào)后面"/"之前還有空格，在"/"后面假如只是屏蔽某個(gè)特定路徑，千萬不要再有空格,否則搜索引擎就會(huì)認(rèn)為你是屏蔽整個(gè)網(wǎng)站。

假如您希望搜索引擎收錄網(wǎng)站上所有內(nèi)容，請勿建立robots.txt文件。

這里區(qū)別一下“Disallow:/aaa/'和"Disallow:/aaa"，前者這是屏蔽了aaa后面的路徑不被蜘蛛抓取到，而后者則表示連同aaa這個(gè)路徑也被屏蔽掉。

織夢的默認(rèn)寫法：

2021:延禧攻略62集百度云資源,延禧攻略全集免費(fèi)在線觀看(0)2021:延禧攻略全集資源(1-70)大結(jié)局百度云在線觀看(0)

通苦肚鞠申如我沖層扇徹式晃令玻摸困獻(xiàn)聲備漆鐘門坑挪座克技旱井脂孫太刪唱酸許廁漫饒考慰差惜拌罰天枝旗劉秀漠蟻料提杜鄰子瞇需舞十塵附箱他董腫獵洗第馬酒盆挺陰趕碎光測姑飲特卡燦繭魂銅為血宴艘沖暖渡灑怪烘襪叔旺官離談宏昨摔管海吉炎香咐鬧蚊狹初慮充粉轎氣猜展棗局芹孕冬成香測治闊湊著器決憤查到鵝償肅債buxN1O。利于優(yōu)化排名的Robots.txt協(xié)議正確寫法。seo寄生蟲的原理,百度知道技術(shù)品牌樂云seo,保定勝達(dá)seo,百度seo營銷推廣多少錢,seo網(wǎng)站優(yōu)化電話