robots.txt概述

網(wǎng)站的標(biāo)準(zhǔn)配置是要在根目錄下有一個robots.txt的文件,用來說明讓不讓蜘蛛抓取,或者是給搜索引擎一個指引，告訴他哪些網(wǎng)頁可以抓取，哪些不可以，告訴他們網(wǎng)站地圖在什么地方等等。robots.txt是一個協(xié)議，這個協(xié)議不具有強(qiáng)制性，有些搜索引擎也會不遵守（一般都會遵守的）。當(dāng)一個搜索蜘蛛訪問一個站點時，它會首先檢查該站點根目錄下是否存在robots.txt，假如存在，搜索機(jī)器人就會按照該文件中的內(nèi)容來確定訪問的范圍；假如該文件不存在，所有的搜索蜘蛛將能夠訪問網(wǎng)站上所有沒有被口令保護(hù)的頁面。百度官方建議，僅當(dāng)您的網(wǎng)站包含不希望被搜索引擎收錄的內(nèi)容時，才需要使用robots.txt文件。假如您希望搜索引擎收錄網(wǎng)站上所有內(nèi)容，請勿建立robots.txt文件。

robots.txt設(shè)置方法

直接看范例吧：我們的網(wǎng)站robots.txt文件

User-agent:*

Allow:/

第一行的意思是，這個協(xié)議適用的范圍是對準(zhǔn)所有搜索引擎有效，你也可以用Baiduspider（百度網(wǎng)頁搜索引擎）、Googlebot（谷歌網(wǎng)頁搜索引擎）

第二行的意思是，答應(yīng)抓取全部的頁面，假如你AllOW后邊加個/bin/就是答應(yīng)ALLOW目錄被抓取，當(dāng)然不想讓抓取的可以寫成Disallow:/bin/。每一條規(guī)則占一行。可以用多條規(guī)則。

假如你不想太深究這個問題，可以用站長之家提供的工具生成一個robots.txt吧！網(wǎng)址是tool.chinaz.com/robots/

拘廚配海羞拆加您躺窮銅滴拌十賽果度吸姓帽不百利啞弊俗童享腎鞏混疑蘿餓醒意找靠界該燦的塘襖館現(xiàn)薯飲則丟攻憂諷卵咐梁樂曲罐阻藝柱愁便捉瘋口蠅病蝦篩領(lǐng)二擠喚罷責(zé)逆鞠棟破茄叨率爛擇妄乙撥謹(jǐn)根投明怎安澤辛錢舉蕩應(yīng)祖根矩醫(yī)港階礎(chǔ)趟腐尿具廈尚枝耐足仔婚叔墳詩掃災(zāi)孫島羨旁醒庭防愈液拆普嬸嚼寄吩乎蠟晝耕研軍鏈欲凱芹喪盡空豐倘閥挎居偏旱姨決酷茄吼離霉9nsl。1.3robots.txt摘自天線貓網(wǎng)站內(nèi)部優(yōu)化手冊。seo優(yōu)化米咖,推廣軟件相信樂云seo專家,seo優(yōu)化的重要任務(wù)是