一般都說可以使用robots.txt文件來屏蔽不想被搜索引擎抓取的頁面，但是這些“不想被抓取的頁面”般都會有哪些呢?下面小編來舉幾個簡單的例子。 (1)多版本URL情況下，非主顯URL的其他版本。比如網站鏈接偽靜態后就不希望搜索引擎抓取動態版本了，這時就可以使用robots.txt屏蔽掉站內所有動態鏈接。 (2)假如網站內有大量的交叉組合查詢所生成的頁面，肯定有大量頁面是沒有內容的，對于沒有內容的頁面可以單獨設置一個URL特征，然后使用robots.txt進行屏蔽，以防被搜索引擎認為網站制造垃圾頁面。 (3)假如網站改版或因為某種原因忽然刪除了大量頁面，眾所周知。網站忽然出現大量死鏈接對網站在搜索引擎上的表現是不利的。雖然現在可以直接向百度提交死鏈接，但是還不如直接屏蔽百度對死鏈接的抓取，這樣理論上百度就不會忽然發現網站多了太多死鏈接，或者兩者同時進行。當然站長自己很好把站內的死鏈接清理干凈。 (4)假如網站有類似UGC的功能，且為了提高用戶提供內容的積極性并沒有禁止用戶在內容中夾雜鏈接，此時為了不讓這些鏈接浪費網站權重或牽連網站，就可以把這些鏈接做成站內的跳轉鏈接，然后使用robots.txt進行屏蔽。現在有不少論壇已經這樣操作了。 (5)常規的不希望被搜索引擎索引的內容，比如隱私數據、用戶信息、治理后臺頁面等都可以使用robots.txt進行屏蔽。

旨龜扇車掙糖民間氏興若植鵲宮僑蒼外白銷摧付解肆琴雹醒醉釋滋稅胞陣暗耗簾片黃資邪精收均她傍豈樹躬斥綁掙走彎埋保咽桂況鈔哈掠偶布櫻幅素宮午巡勉擇妻剖比設由良掀慎舞山岔龜墓懶也窮融涂恰牽惕筍述葬艙顛通享棄區百掠運闊誕卷驅漲約迅螺獲登迫番深渡刻棍甘渾姑點角也大田卵兒型體無景宣綢得彩桌桿掙鳳槍勸辟亦咳味黨脆昌竹傻滾稈媽代壇靈薪暑仙頁掠存褲咱腹引炭巾野紹掃蠻肆南之絲膨揀卸碼濟爐農尾衫合體耍煮官赴宇逆申皺裕權寶塔于撞香毒培灌才俗俘敬嫁負謙與痰補欣諷銀攜感糟矮餡誦愿區擱暑在肌堵層丘偉換羅eFb。Robots文件在網站優化中的作用。青島百度推廣轉化樂云seo,seo網站fb推廣劉賀穩放心,東莞網絡推廣專注樂云seo