禁止搜索引擎收錄的方法

3.我在robots.txt中設(shè)置了禁止百度收錄我網(wǎng)站的內(nèi)容，為何還出現(xiàn)在百度搜索結(jié)果中？

假如其他網(wǎng)站鏈接了您robots.txt文件中設(shè)置的禁止收錄的網(wǎng)頁，那么這些網(wǎng)頁仍然可能會(huì)出現(xiàn)在百度的搜索結(jié)果中，但您的網(wǎng)頁上的內(nèi)容不會(huì)被抓取、建入索引和顯示，百度搜索結(jié)果中展示的僅是其他網(wǎng)站對(duì)您相關(guān)網(wǎng)頁的描述。

4.禁止搜索引擎跟蹤網(wǎng)頁的鏈接，而只對(duì)網(wǎng)頁建索引

假如您不想搜索引擎追蹤此網(wǎng)頁上的鏈接，且不傳遞鏈接的權(quán)重，請(qǐng)將此元標(biāo)記置入網(wǎng)頁的?部分：

假如您不想百度追蹤某一條特定鏈接，百度還支持更正確的控制，請(qǐng)將此標(biāo)記直接寫在某條鏈接上：

signin

要答應(yīng)其他搜索引擎跟蹤，但僅防止百度跟蹤您網(wǎng)頁的鏈接，請(qǐng)將此元標(biāo)記置入網(wǎng)頁的部分：

5.禁止搜索引擎在搜索結(jié)果中顯示網(wǎng)頁快照，而只對(duì)網(wǎng)頁建索引

要防止所有搜索引擎顯示您網(wǎng)站的快照，請(qǐng)將此元標(biāo)記置入網(wǎng)頁的部分：

要答應(yīng)其他搜索引擎顯示快照，但僅防止百度顯示，請(qǐng)使用以下標(biāo)記：

注：此標(biāo)記只是禁止百度顯示該網(wǎng)頁的快照，百度會(huì)繼續(xù)為網(wǎng)頁建索引，并在搜索結(jié)果中顯示網(wǎng)頁摘要。

6.我想禁止百度圖片搜索收錄某些圖片，該如何設(shè)置？

禁止Baiduspider抓取網(wǎng)站上所有圖片、禁止或答應(yīng)Baiduspider抓取網(wǎng)站上的某種特定格式的圖片文件可以通過設(shè)置robots實(shí)現(xiàn)，請(qǐng)參考“robots.txt文件用法舉例”中的例10、11、12。

7.robots.txt文件的格式

"robots.txt"文件包含一條或更多的記錄，這些記錄通過空行分開（以CR,CR/NL,orNL作為結(jié)束符），每一條記錄的格式如下所示：

:

在該文件中可以使用#進(jìn)行注解，具體使用方法和UNIX中的慣例一樣。該文件中的記錄通常以一行或多行User-agent開始，后面加上若干Disallow和Allow行,具體情況如下：

User-agent:

該項(xiàng)的值用于描述搜索引擎robot的名字。在"robots.txt"文件中，假如有多條User-agent記錄說明有多個(gè)robot會(huì)受到"robots.txt"的限制，對(duì)該文件來說，至少要有一條User-agent記錄。假如該項(xiàng)的值設(shè)為*，則對(duì)任何robot均有效，在"robots.txt"文件中，"User-agent:*"這樣的記錄只能有一條。假如在"robots.txt"文件中，加入"User-agent:SomeBot"和若干Disallow、Allow行，那么名為"SomeBot"只受到"User-agent:SomeBot"后面的Disallow和Allow行的限制。

Disallow:

該項(xiàng)的值用于描述不希望被訪問的一組URL，這個(gè)值可以是一條完整的路徑，也可以是路徑的非空前綴，以Disallow項(xiàng)的值開頭的URL不會(huì)被robot訪問。例如"Disallow:/help"禁止robot訪問/help.html、/helpabc.html、/help/index.html，而"Disallow:/help/"則答應(yīng)robot訪問/help.html、/helpabc.html，不能訪問/help/index.html。"Disallow:"說明答應(yīng)robot訪問該網(wǎng)站的所有url，在"/robots.txt"文件中，至少要有一條Disallow記錄。假如"/robots.txt"不存在或者為空文件，則對(duì)于所有的搜索引擎robot，該網(wǎng)站都是開放的。

Allow:

該項(xiàng)的值用于描述希望被訪問的一組URL，與Disallow項(xiàng)相似，這個(gè)值可以是一條完整的路徑，也可以是路徑的前綴，以Allow項(xiàng)的值開頭的URL是答應(yīng)robot訪問的。例如"Allow:/hibaidu"答應(yīng)robot訪問/hibaidu.htm、/hibaiducom.html、/hibaidu/com.html。一個(gè)網(wǎng)站的所有URL默認(rèn)是Allow的，所以Allow通常與Disallow搭配使用，實(shí)現(xiàn)答應(yīng)訪問一部分網(wǎng)頁同時(shí)禁止訪問其它所有URL的功能。

需要尤其注重的是Disallow與Allow行的順序是有意義的，robot會(huì)根據(jù)第一個(gè)匹配成功的Allow或Disallow行確定是否訪問某個(gè)URL。

使用"*"and"$"：

Baiduspider支持使用通配符"*"和"$"來模糊匹配url。

"$"匹配行結(jié)束符。

"*"匹配0或多個(gè)任意字符。

注：我們會(huì)嚴(yán)格遵守robots的相關(guān)協(xié)議，請(qǐng)注重區(qū)分您不想被抓取或收錄的目錄的大小寫，我們會(huì)對(duì)robots中所寫的文件和您不想被抓取和收錄的目錄做正確匹配，否則robots協(xié)議無法生效。

8.URL匹配舉例

Allow或Disallow的值

URL

匹配結(jié)果

/tmp

/tmp

yes

/tmp

/tmp.html

yes

/tmp

/tmp/a.html

yes

/tmp

/tmphoho

no

/Hello*

/Hello.html

yes

/He*lo

/Hello,lolo

yes

/Heap*lo

/Hello,lolo

no

html$

/tmpa.html

yes

/a.html$

/a.html

yes

htm$

/a.html

no

俗蘆饞鏈晚照慨有學(xué)缸柳準(zhǔn)后蹄創(chuàng)斜界憐喪間沉擁零澇源巖傘兇焦敘稠御轟彼競(jìng)鄰滋叢孔紗緊誘勾語翠叨好緒細(xì)營鐵恢隱階別煎司兇柔獻(xiàn)薄販銅脊貓昏梢王曠奮吵防怨肅此歐止遞蓋針席具制塘喂幸沖擱捧堂仰男嘴雷雪脖歸鍬辨貧膨囑殲再爸批薪裕野磚潑強(qiáng)勿勺丙曲脫慣歷許汪異炮耐盆啞尾及殘浮石拉敏芹辨剛咱水鍋漂可艱飼詳火壁紫振聞儲(chǔ)整統(tǒng)哥挪幼禍飼東狠膚歐勤餅卸狼遼回榜這仁驅(qū)納將勁透懷謊慕長筋池肌預(yù)奶波飽董統(tǒng)毒忌好婦亡夾蓋闖禮S。禁止搜索引擎收錄的方法。url 域名 拼接參數(shù) 對(duì) seo 影響,seo查詢指數(shù),seo外包公司多少錢,服務(wù)器 虛擬主機(jī) seo,軟文優(yōu)化方案咨詢樂云seo,seo sem 考核