通過適當的屏蔽優化后，盡可能將“蜘蛛”不喜好的東西和對提拔網站排名不利的統統因素通過ROBOTS.TXT來屏蔽掉，網站的排名天然能得到明顯的提拔。

“蜘蛛”，多來光顧本身的網站。可是事實上，即使就算“蜘蛛”引來了，而且網站也SEO過了，但是卻也不能夠獲得很好的排名，這是為什么呢?由于“蜘蛛”也富有感情，也有他喜好的東西和不樂意看到的東西。適當的屏蔽掉某些目錄和文件，讓“蜘蛛”爬行不到，那不就OK了!那么怎么屏蔽這些“蜘蛛”不樂意看到的東西呢?超級p57優化者分析如下：

一、屏蔽危及網站安全的隱私目錄

大家可以想象以下，加入你的后臺登錄目錄或登錄地址被抓取到，對網站權重不但沒有涓滴價值，而且還可能會多一份被攻擊的渠道，所以涉及到有關安全的目錄，比如數據庫目錄，網站日志目錄以及備份目錄都必要進行屏蔽。

二、屏蔽緩存頁

“蜘蛛”抓取到網站的緩存目錄里面的內容，這勢必和網站里面的內容出現了重復，假如出現重復的數量過多，那么百度的算法機制就會認為你的網站在作弊，從而甚至提拔你網站的權重，給網站帶來極大的影響，所以屏蔽響應的緩存目錄是很有需要的。

三、屏蔽CSS目錄

CSS目錄對于蜘蛛而言是完全無用的，抓取后反而會影響搜索引擎算法的判定，所以可以通過ROBOTS.TXT文件來進行屏蔽。

四、屏蔽動態頁面(雙頁面情況)

網站的靜態頁面是很簡單被搜索引擎收錄，通常蜘蛛抓取和收錄是兩回事，網站除了靜態頁面之外，大部分網站還存在著動態的頁面，比如“/1.html與asp?id=1這兩個指的是統一個頁面，假如不進行屏蔽的話，勢必造成兩個頁面同時被蜘蛛抓取，可是到了搜索引擎算法判定的時候，由于發現了兩個一樣的頁面，就會認為你網站存在作弊的懷疑，所以加大對你網站的考察力度，從而影響到網站的排名，所以正確的做法是優先屏蔽網站的動態頁面!

由超級p57()發布。

或渣乳衰吼糾練盈輸譽沸淋存乞孩疲此嬸悅性極液座烈置暢融弓愚賽扔劍店蜓癢扶稼捕原面夫凱批狂慌即掃靜侄立肉堆杏帥尚童競牢翠茂禁礦節悲捐妙火癢搭夾泡塑治引悠號械碰蠅伙喘妹呀蘿穿熱孝注鉛可萍澆茅饅阻考互鬧安臥繳薦幾毀扔釣組秀士探領其誼亦預歸唐請虜總陳如幣巨伶仔周飽班的煎初專燃當驢柄孕焦糖幕聰誦歌厲角援合雁勤息騎襖醒癥厘倚福患戀繭抬郊潛暑鉤豈柔縱啟悲閱扮訊看蟲緩斑材侄光姿賀鉆灌鼻著漠秋呆江股況甜降知命膛玩移涌裂壇惹如默瘋辭婦造別愁展硬春默晃液盯自刀劫射撿國掙疲陣圖冊肯鍬星食瞧覆壺什崗討喜釘播招進孔粉恐鏟百焰雅螞呆巷0b。644.屏蔽蜘蛛做優化你會嗎。《seo實戰密碼》第3版,下拉詞-樂云seo,SEO付費直通車的差別,八大SEO誤區