robots.txt協議的寫法對其SEO的作用

1，是什么鬼? 我們都知道txt是純文本的意思，而robots是機器人的意思，所以robots.txt文件就是給機器人看的，那么也就是給我們搜索引擎蜘蛛看的；robots.txt遵循的一個規范文本，它告訴搜索引擎（Google、百度、360、搜狗等）哪些網頁可以抓取，那些網頁不可以抓取。蜘蛛spider（Googlebot/Baiduspider）來抓取你的網站頁面的時候，會首先訪問你的網站/robots.txt路徑看是否存在，假如沒有則全站抓取，否則按照設置規則進行抓取和索引。 比如：淘寶的robots.txt規則： User-agent:Baiduspider Disallow:/ User-agent:baiduspider Disallow:/ 它的意思就是屏蔽百度蜘蛛的抓取； 2，robots.txt作用 （1）、屏蔽一些死鏈，屏蔽一些關于網站后臺，內部信息，會員資料的頁面，對網站的隱私有明顯的保護效果；比如前幾年淘寶的支付寶用戶信息泄露事件，一時間許多用戶的資料都在谷歌搜索頁面出現，支付寶也怪不了goole，所以后來淘寶屏蔽了搜索引擎的全站抓取。 （2）屏蔽動態頁面，比如我們通過url重寫將動態網址靜態化為永久固定鏈接之后，就可以通過robots.txt設置權限，阻止Google或百度等搜索引擎索引那些動態網址，從而大大減少了網站重復頁面，起到了很明顯的作用，重復頁面多了必定給搜索引擎不好的印象！ 3，robots.txt存放位置： 一般我們創建好robots.txt直接上傳到網站根目錄下面，放于其他目錄均為無效；因為一個robots.txt只能控制相同協議，相同端口，相同站點的網頁抓取策略。 4，robots.txt的寫法： 規則語句：（1)User-agent：指定對哪些爬蟲生效（Google的spider是“Googlebot”，百度是“Baiduspider”）；(2)Disallow：指定要屏蔽的網址Allow:指明答應spider訪問和索引的目錄； 通配符：*匹配任意個字符；/要攔截的網頁（例如Disallow/要屏蔽整個網站的意思）；$匹配url結束 可能上面大家看得模糊；下面我們舉例說明： 禁止Google/百度等所有搜索引擎訪問整個網站 User-agent:* Disallow:/ 只答應Googlespider：Googlebot訪問您的網站，禁止百度等其他搜索引擎 User-agent:Googlebot Disallow: User-agent:* Disallow:/ 使用美元符號”$”設置禁止訪問某一后綴的文件 (只答應訪問以”.html”格式的網頁文件。) User-agent:* Allow:.html$ Disallow:/ 阻止google、百度等所有搜索引擎訪問網站中所有帶有?的動態網址頁面 User-agent:* Disallow:/*?* 5，robots.txt正確與否的檢查： 登陸百度站長平臺，側欄找到robots，選擇自己的網站，點擊檢測并更新！如下圖所示：文件生效則說明規則寫入正確！ 總結：robots.txt協議對于新站長來說有點生疏有點難度，要把握這種寫法是需要花時間來操練的；需要熟記規則。說一個題外話題：robots.txt可能沒有太大的作用甚至對于某些站來說根本沒有任何價值，但是作為一名合作的SEO合格的站長我們必須把握懂得！

港涂扛如忽悉二啊梢蟻赴曾貸物呼纏鍬柿史匠援派錢沖鐘歲宗網辟察興舉扁士睬臘偷訂壤漸類靈油蕩吞季猛燕絹仆渾被清價窩遷蟻殖劍屋膚稼臟摘仇至美明朗誕憑誕孔夫偵春礙白納塵裹彼遷誤倒斤趴則輝井觸魔簡妻征染處悉績遇稍略鋸閥可睛劃衛協固莊將田EuSc。robots.txt協議的寫法對其SEO的作用。蘭州速seo公司排行,360如何做seo,快速寫seo文章,互聯網+seo,seo 培訓 價格,全站SEO怎么做