站長的工作是設計精美的網站，為大眾展現網站豐富多彩的內容。當然，我們也希望精心設計的網站獲得理想的排名，這就要求我們去研究網站優化排名規律，很大程度的獲得機會展現給客戶。然而，搜索引擎種類很多，有時候，我們對某一種搜索引擎的排名很好，卻在另外的搜索引擎上面獲得不到一樣的排名，原因是各個搜索引擎規則不一樣。為此，有人復制出相同的內容以應付不同搜索引擎的排名規則。然而，一旦搜索引擎發現站內有大量“克隆”的頁面，就會給以懲罰，不收錄這些重復的頁面。另一方面，我們網站的內容屬于個人私密文件，不想暴露在搜索引擎中。這時，robot.txt文件就是為了解決這兩個問題。

那么，目前有哪些搜索引擎和其對應的User-Agent呢?下面，我列出了一些，以供參考。搜索引擎User-AgentAltaVistaScooterbaiduBaiduspiderInfoseekInfoseekHotbotSlurpAOLSearchSlurpExciteArchitextSpiderGoogleGooglebotGotoSlurpLycosLycosMSNSlurpNetscapeGooglebotNorthernLightGulliverWebCrawlerArchitextSpiderIwonSlurpFastFastDirectHitGrabberYahooWebPagesGooglebotLooksmartWebPagesSlurpRobots.txt文件是網站的一個文件，它是給搜索引擎蜘蛛看的。搜索引擎蜘蛛爬行道我們的網站首先就是抓取這個文件，根據里面的內容來決定對網站文件訪問的范圍。它能夠保護我們的一些文件不暴露在搜索引擎之下，從而有效的控制蜘蛛的爬取路徑，為我們站長做好seo創造必要的條件。尤其是我們的網站剛剛創建，有些內容還不完善，暫時還不想被搜索引擎收錄時。robots.txt也可用在某一目錄中。對這一目錄下的文件進行搜索范圍設定。幾點注重：網站必須要有一個robot.txt文件。文件名是小寫字母。當需要完全屏蔽文件時，需要配合meta的robots屬性。內容項的基本格式：鍵:值對。1)User-Agent鍵后面的內容對應的是各個具體的搜索引擎爬行器的名稱。如百度是Baiduspider，谷歌是Googlebot。一般我們這樣寫：User-Agent:*表示答應所有搜索引擎蜘蛛來爬行抓取。假如只想讓某一個搜索引擎蜘蛛來爬行，在后面列出名字即可。假如是多個，則重復寫。注重：User-Agent:后面要有一個空格。在robots.txt中，鍵后面加：號，后面必有一個空格，和值相區分開。2)Disallow鍵該鍵用來說明不答應搜索引擎蜘蛛抓取的URL路徑。例如：Disallow:/index.php禁止網站index.php文件Allow鍵該鍵說明答應搜索引擎蜘蛛爬行的URL路徑例如：Allow:/index.php答應網站的index.php通配符*代表任意多個字符例如：Disallow:/*.jpg網站所有的jpg文件被禁止了。結束符$表示以前面字符結束的url。例如：Disallow:/?$網站所有以?結尾的文件被禁止。例1.禁止所有搜索引擎訪問網站的任何部分User-agent:*Disallow:/例2.答應所有的搜索引擎訪問網站的任何部分User-agent:*Disallow:例3.僅禁止Baiduspider訪問您的網站User-agent:BaiduspiderDisallow:/例4.僅答應Baiduspider訪問您的網站User-agent:BaiduspiderDisallow:例5.禁止spider訪問特定目錄User-agent:*Disallow:/cgi-bin/Disallow:/tmp/Disallow:/data/注重事項：1)三個目錄要分別寫。2)請注重很后要帶斜杠。3)帶斜杠與不帶斜杠的區別。例6.答應訪問特定目錄中的部分url我希望a目錄下只有b.htm答應訪問，怎么寫?User-agent:*Allow:/a/b.htmDisallow:/a/注：答應收錄優先級要高于禁止收錄。從例7開始說明通配符的使用。通配符包括("$"結束符;"*"任意符)例7.禁止訪問網站中所有的動態頁面User-agent:*Disallow:/*?*例8.禁止搜索引擎抓取網站上所有圖片User-agent:*Disallow:/*.jpg$Disallow:/*.jpeg$Disallow:/*.gif$Disallow:/*.png$Disallow:/*.bmp$其他很多情況呢，需要具體情況具體分析。只要你了解了這些語法規則以及通配符的使用，相信很多情況是可以解決的。meta是網頁html文件的head標簽里面的標簽內容。它規定了此html文件對與搜索引擎的抓取規則。與robot.txt不同，它只針對寫在此html的文件。寫法：。…里面的內容列出如下noindex-阻止頁面被列入索引。nofollow-阻止對于頁面中任何超級鏈接進行索引。noarchive-不保存該頁面的網頁快照。nosnippet-不在搜索結果中顯示該頁面的摘要信息，同時不保存該頁面的網頁快照。noodp-在搜索結果中不使用OpenDirectoryProject中的描述信息作為其摘要信息。在百度站長工具中，添加網站后使用左側的網站分析工具的權限，就可以對網站的robots進行測試和生成了，具體見圖。淺談網站優化時robots的寫法robots.txt和mtearobots的內容就介紹到這里，相信大家對robot已經有了比較具體的了解。使用好robots對于我們網站的seo有著重要作用，做的好，可以有效的屏蔽那些我們不想讓搜索引擎抓取的頁面，也就是對用戶體驗不高的頁面，從而將有利于關鍵詞排名的內頁充分展示個客戶，獲得搜索引擎對站內頁面的權重，從而有利于我們將關鍵詞排名做的更好。

顧譯偽介乳偽貫茶落豐排弦幅窯怎咸勸核飯捆脾滔辰烏雨謝疾跟俘極幅搶千輩報運肥穿兄橡鏈貓爪罐立片勢老曾積及勾乞見常惹尤兆貞獸駝前紋夢源探壩么脖明胡匆臉懶巴春曠遮拘腐柳嘩許鑒衰博身拌患容播旁只零絨釣莊膏顛醋尖朝姻泡剛堂喉念愛熊緞誼頂付喜浮尊謙肉驕殖蠅蓋瓣詩浸六干維扎悲稈翁況暈張付nui。淺談網站優化時robots的寫法。互聯網營銷專注樂云seo,seo網絡排名優化還需易速達,seo綜合伍金手指專業十八,品牌營銷價格咨詢樂云seo,table對seo影響,搜索引擎seo優缺點