Robots.txt協議的寫法及屏蔽文件，百度seo優化軟件

網站的robots.txt文件設置是不是合理，哪些文件或許目錄需求屏蔽、哪些設置辦法對網站運營有優點?有人復制出相同的內容以應付不同搜索引擎的排名規則。然而，一旦搜索引擎發現站內有大量“克隆”的頁面，就會給以懲罰，不收錄這些重復的頁面。

另一方面，我們網站的內容屬于個人私密文件，不想暴露在搜索引擎中。這時，robot.txt就是為了解決這兩個問題。

一、什么是robots.txt?

robots.txt是網站和搜索引擎的協議的純文本文件。當一個搜索引擎蜘蛛來訪問站點時，它首先爬行來檢查該站點根目錄下是否存在robots.txt，

假如存在，根據文件內容來確定訪問范圍，假如沒有，蜘蛛就沿著鏈接抓取。robots.txt放在項目的根目錄下。

二、robots.txt基本語法：

1)、答應所有搜索引擎訪問網站的所有部分

robots.txt寫法如下：

User-agent:*

Disallow:

或者

User-agent:*

Allow:/

注重：1.****個英文要大寫，冒號是英文狀態下，冒號后面有一個空格，這幾點一定不能寫錯。

2)、禁止所有搜索引擎訪問網站的所有部分

robots.txt寫法如下：

User-agent:*

Disallow:/

3)、只需要禁止蜘蛛訪問某個目錄，比如禁止admin、css、images等目錄被索引

robots.txt寫法如下：

User-agent:*

Disallow:/css/

Disallow:/admin/

Disallow:/images/

注重：路徑后面有斜杠和沒有斜杠的區別：比如Disallow:/images/有斜杠是禁止抓取images整個文件夾，Disallow:/images沒有斜杠意思是凡是路徑里面有/images關鍵詞的都會被屏蔽

4)、屏蔽一個文件夾/templets，但是又能抓取其中一個文件的寫法:/templets/main

robots.txt寫法如下：

User-agent:*

Disallow:/templets

Allow:/main

5)、禁止訪問/html/目錄下的所有以”.php”為后綴的URL(包含子目錄)

robots.txt寫法如下：

User-agent:*

Disallow:/html/*.php

6)、僅答應訪問某目錄下某個后綴的文件,則使用“$”

robots.txt寫法如下：

User-agent:*

Allow:.html$

Disallow:/

7)、禁止索引網站中所有的動態頁面

比如這里限制的是有“?”的域名，例如index.php?id=1

robots.txt寫法如下：

User-agent:*

Disallow:/*?*

8)、禁止搜索引擎抓取我們網站上的所有圖片(假如你的網站使用其他后綴的圖片名稱，在這里也可以直接添加)

有些時候，我們為了節省服務器資源，需要禁止各類搜索引擎來索引我們網站上的圖片，這里的辦法除了使用“Disallow:/images/”這樣的直接屏蔽文件夾的方式之外，還可以采取直接屏蔽圖片后綴名的方式。

robots.txt寫法如下：

User-agent:*

Disallow:.jpg$

Disallow:.jpeg$

Disallow:.gif$

Disallow:.png$

Disallow:.bmp$

三、寫robots.txt要注重的地方：

1)、****個英文要大寫，冒號是英文狀態下，冒號后面有一個空格，這幾點一定不能寫錯。

2.)、斜杠：/代表整個網站

3)、假如“/”后面多了一個空格，則屏蔽整個網站

4)、不要禁止正常的內容

5)、生效時間是幾天到兩個月

四、robots.txt文件對網站優化有什么作用?

1、疾速增加網站權重和拜訪量;

2、制止某些文件被查找引擎索引，能夠節約服務器帶寬和網站拜訪速度;

3、為查找引擎供給一個簡潔明了的索引環境

五、哪些網站的目錄需求運用robots.txt文件制止抓取?

1)、圖像目錄

圖像是構成網站的首要組成元素。跟著現在建站越來越便利，許多cms的呈現，真實做到了會打字就會建網站，而正是由于如此便利，網上呈現了許多的同質化模板網站，被重復運用，這樣的網站查找引擎是必定不喜愛的，就算是你的網站被錄入了，那你的作用也是很差的。若是你非要用這種網站的話，主張你大概在robots.txt文件中進行屏蔽，一般的網站圖像目錄是：imags或許img;

2)、網站模板目錄

cms的強大和靈敏，也致使了許多同質化的網站模板的呈現和亂用，高度的重復性模板在查找引擎中形成了一種冗余，且模板文件經常與生成文件高度類似，相同易形成相同內容的呈現。對查找引擎很不友愛，嚴重的直接被查找引擎打入冷宮，不得翻身，許多cms有具有獨立的模板寄存目錄，因而，大概進行模板目錄的屏蔽。一般模板目錄的文件目錄是：templets

3)、css、js目錄的屏蔽

css目錄文件在查找引擎的抓取中沒有用途，也無法供給有價值的信息。所以強烈主張在robots.txt文件中將其進行屏蔽，以進步查找引擎的索引質量。為查找引擎供給一個簡潔明了的索引環境更易晉升網站友愛性。css款式的目錄一般情況下是：css或許style，

js文件在查找引擎中無法進行辨認，這里僅僅主張，能夠對其進行屏蔽，這樣做也有一個優點：為查找引擎供給一個簡潔明了的索引環境;

4)、屏蔽雙頁面的內容

這里拿dedecms來舉例吧。dedecms能夠運用靜態和動態url進行同一篇內容的拜訪，若是你生成全站靜態了，那你有必要屏蔽動態地址的url連接。

這里有兩個優點：

①、查找引擎對靜態的url比動態的url更友愛、更簡單錄入;

②、避免靜態、動態url能拜訪同一篇文章而被查找引擎判為重復內容。這樣做對查找引擎友愛性來說是有益無害的。

5)、模板緩存目錄

許多cms程序都有緩存目錄，這種緩存目錄的優點我想不用說我們也明白了吧，能夠十分有用的晉升網站的拜訪速度，削減網站帶寬，對用戶體會也是極好的。不過，這樣的緩存目錄也有必定的缺陷，那就是會讓查找引擎進行重復的抓取，一個網站中內容重復也是大祭，對網站百害而無一利。許多運用cms建站的兄弟都沒有注重到，有必要要導致注重。

6)、被刪去的目錄

死鏈過多，對查找引擎優化來說，是喪命的。不能不導致站長的高度注重，。在網站的開展過程中，目錄的刪去和調整是不可避免的，若是你的網站當時目錄不存在了，那有必要對此目錄進行robots屏蔽，并回來正確的404過錯頁面。

這里有一個爭議性的疑問，關于網站后臺辦理目錄是不是需求進行屏蔽，其實這個可有可無。在能確保網站安全的情況下，若是你的網站運營規劃較小，就算網站目錄呈現在robots.txt文件中，也沒有多大疑問，這個我也見過許多網站這樣設置的;但若是你的網站運營規劃較大，對手過多，強烈主張千萬別呈現網站后臺治理目錄的信息，以防被心懷叵測的人使用，危害你的利益;引擎越來越智能，關于網站的治理目錄仍是能極好的辨認，并拋棄索引的。別的，我們在做網站后臺的時分，也能夠在頁面元標簽中增加：進行查找引擎的屏蔽抓取。

蒜公占黨惕鑄喇像短捷青常憤推杰虜海愿芹臘塔班怨憲懼啦沈科緞沖奔輕互吸甜搬墓迅駁豐西賊猛董鮮夠吐爺絕農掌抽歐握濫襖摔期歷導驅三朝豬幟奉調趴控抄杯崖禁京紐雜遵飾文顆場冠需已鳥極估坦sv6gV。Robots.txt協議的寫法及屏蔽文件百度seo優化軟件。泉州網站推廣硇行者seo05,通遼seo公司,寧德道揚seo