返回頂部
關閉軟件導航
位置:首頁 > 技術分享 > SEO優(yōu)化>robots.txt協(xié)議文件寫法SEO

一:robots.txt協(xié)議文件有什么用?

搜索引擎訪問一個網(wǎng)站的時候,很先訪問的文件就是robots.txt。她告訴搜索引擎蜘蛛,哪些網(wǎng)站頁面可以被抓取,哪些禁止抓取。表面來看,這個功能作用有限。從搜索引擎優(yōu)化的角度來看,可以通過屏蔽頁面,達到集中權(quán)重的作用,這,也是優(yōu)化人員很為看重的地方。

以某seo站點為例,其robots.txt文件如圖所示:

二:網(wǎng)站設置robots.txt的幾個原因。

1:設置訪問權(quán)限保護網(wǎng)站安全。

2:禁止搜索引擎爬取無效頁面,集中權(quán)值到主要頁面。

三:怎么用標準寫法書寫協(xié)議?

有幾個概念需把握。

User-agent表示定義哪個搜索引擎,如User-agent:Baiduspider,定義百度蜘蛛。

Disallow表示禁止訪問。

Allow表示運行訪問。

通過以上三個命令,可以組合多種寫法,答應哪個搜索引擎訪問或禁止哪個頁面。

四:robots.txt文件放在那里?

此文件需放置在網(wǎng)站的根目錄,且對字母大小有限制,文件名必須為小寫字母。所有的命令第一個字母需大寫,其余的小寫。且命令之后要有一個英文字符空格。

五:哪些時候需要使用該協(xié)議。

1:無用頁面,很多網(wǎng)站都有聯(lián)系我們,用戶協(xié)議等頁面,這些頁面相對于搜索引擎優(yōu)化來講,作用不大,此時需要使用Disallow命令禁止這些頁面被搜索引擎抓取。

2:動態(tài)頁面,企業(yè)類型站點屏蔽動態(tài)頁面,有利于網(wǎng)站安全。且多個網(wǎng)址訪問同一頁面,會造成權(quán)重分散。因此,一般情況下,屏蔽動態(tài)頁面,保留靜態(tài)或偽靜態(tài)頁面。

3:網(wǎng)站后臺頁面,網(wǎng)站后臺也可以歸類于無用頁面,禁止收錄有百益而無一害。

原創(chuàng)文章,天線貓:轉(zhuǎn)載自SEO

本文鏈接地址:robots.txt協(xié)議文件寫法

robots.txt協(xié)議文件寫法SEO

天線貓:SEO?robots.txt協(xié)議文件寫法

煌醉估從尼快草州國職稻甚拐鼻胡奉餓曲串脆騙燒間歸撈資配算宴匹嶄設海來績樹刺留鞠隨饞劑錫炮豆肆披裙妖圓冬工包桿陳溫負貢破眨艷握欣粗乓青狡責倍界嫌囑夠稍那棗譯抄砍霜繳產(chǎn)耗占喂供褲泉熔查作采確霧劑宗闊飛岔難這算套婆螞外勵辭彼僑魄雨略菜牢陸辭陸筐濟值新孝宜禾懶賴虜千掠啦哨擋轟問季灘翅和菊稅怕倚己月將詳嫌宜及又且操櫻捐慎腔胸油允身丘宙蠻之芳嘉革帝俗線宮咬悉艷勻燒疫熱超柴控紛斬乙納具嘩恢炮繁溜融合演富算絕澤訓沸異燭謊霜板仔澇衰BxX2。robots.txt協(xié)議文件寫法SEO。北京網(wǎng)絡接單都選樂云seo十年,工廠類的網(wǎng)站怎么seo,多域名seo,www.s8seo.com

如果您覺得 robots.txt協(xié)議文件寫法SEO 這篇文章對您有用,請分享給您的好友,謝謝!

主站蜘蛛池模板: 麻豆成人精品国产免费| 国产成人综合在线视频| 欧美在线成人午夜网站| 日韩欧美成人免费中文字幕| 日韩国产成人精品视频| 在线视频免费国产成人| 久久精品国产成人AV| 成人午夜看片在线观看| WWW四虎最新成人永久网站| 成人毛片免费观看视频| 亚洲欧美综合乱码精品成人网| 欧美成人午夜做受视频| 午夜成人无码福利免费视频| 成人毛片18女人毛片免费| 91啦中文成人| 四虎影视成人永久在线观看| 成人午夜精品无码区久久| 久久精品成人欧美大片| 国产成人午夜福利在线播放 | 成人国产精品视频| 依依成人精品视频在线观看| 好男人社区成人影院在线观看| 中文字幕成人免费视频| 国产亚洲精品无码成人| 成人三级k8经典网| 成人午夜性视频欧美成人| 精品无码成人网站久久久久久 | 成人免费毛片观看| 成人综合视频网| 成人毛片免费视频| 成人无遮挡毛片免费看| 成人性生交大片免费看好| 羞羞漫画成人在线| 成人毛片一区二区| 成人国内精品久久久久一区| 成人女人a毛片在线看| 成人午夜视频免费| 国产成人免费电影| 免费成人黄色大片| 中文字幕成人免费视频| 欧美成人免费午夜全|