Googlebot僅遵循特定的命令，忽略表格和cookie，僅對正確編碼的鏈接進行爬網。因此，站點建設中的錯誤和疏忽會影響對其進行爬網和建立索引的能力。

很自然地假設搜索引擎可以訪問人們在網站上看到的所有內容。但是事實并非如此。

據報道，Googlebot可以填寫表格，接受Cookie并抓取所有類型的鏈接。但是訪問這些元素將消耗看似無限的爬網和索引資源。

因此，Googlebot僅遵循某些命令，忽略表單和cookie，僅爬網使用適當的anchor標簽和href編碼的鏈接。

以下是阻止Googlebot和其他搜索引擎機器人抓取（和編制索引）您所有網頁的七個項目。

1.基于位置的頁面

具有支持區域設置的頁面的站點會檢測訪問者的IP地址，然后根據該位置顯示內容。但這不是萬無一失的。比如：訪客的IP似乎在波士頓，即使她住在紐約也是如此。因此，她會收到她不想要的有關波士頓的內容。

Googlebot的默認IP來自加利福尼亞州圣何塞地區。因此，Googlebot僅會看到與該地區相關的內容。

首次進入站點時基于位置的內容很好。但是后續內容應基于單擊的鏈接，而不是IP地址。

有機搜尋成功的無形障礙是很難發現的障礙之一。

2.基于Cookie的內容

網站將cookie放置在Web瀏覽器上，以個性化訪問者的體驗，例如語言優選項或渲染面包屑的單擊路徑。訪問者只能通過Cookie，而不是單擊鏈接來訪問的內容將無法被搜索引擎機器人訪問。

例如，某些站點基于cookie提供國家和語言內容。假如您訪問在線商店并選擇以法語閱讀，則會設置一個cookie，而您在網站上的其余訪問都將以法語進行。URL與網站使用英語時的URL相同，但是內容不同。

網站所有者大概希望法語內容在自然搜索中排名，以將講法語的人帶到該網站。但是不會。假如URL不會隨著內容的更改而改變，那么搜索引擎將無法抓取或排名其他版本。

3.不可抓取的JavaScript鏈接

對于Google來說，鏈接不是鏈接，除非它同時包含錨標記和指向特定URL的href。錨文本也是可取的，因為它可以確定鏈接到的頁面的相關性。

下面的假設標記著重說明了可抓取鏈接和不可抓取鏈接與Googlebot的區別：“將被抓取”與“不被抓取”。

Google要求鏈接同時包含錨標記和指向特定URL的href。在此示例中，Googlebot將抓取第一行和第四行。但是它不會爬第二和第三。

電子商務網站傾向于使用onclick（指向其他頁面的鼠標懸停下拉菜單）而不是錨標記來編碼其鏈接。雖然這種方法適用于人類，但Googlebot不會將其識別為可抓取的鏈接。因此，以這種方式鏈接的頁面可能存在索引問題。

4.標簽網址

AJAX是一種JavaScript形式，可以刷新內容而無需重新加載頁面。刷新后的內容會在頁面的URL中插入井號（井號：＃）。不幸的是，＃標簽并不總是在以后的訪問中復制預期的內容。假如搜索引擎將主題標簽URL編入索引，則內容可能不是搜索者正在尋找的內容。

雖然大多數搜索引擎優化人員都了解標簽標簽URL固有的索引問題，但營銷人員通常會驚異地發現其URL結構的這一基本要素正在引起自然搜索麻煩。

5.Robots.txt不答應

robots.txt文件是網站根目錄下的原始文本文檔。它告訴機器人（選擇服從）通常通過disallow命令來爬網哪些內容。

Disallow命令不會阻止建立索引。但是由于機器人無法確定頁面的相關性，它們可以阻止頁面排名。

禁止命令可能會意外出現在robots.txt文件中（例如，重新設計實時發布時），從而阻止搜索機器人抓取整個網站。robots.txt文件中存在禁止對象是檢查自然搜索流量忽然下降的第一件事。

6.MetaRobotsNoindex

URL的meta標簽的noindex屬性指示搜索引擎機器人不要對該頁面進行索引。它是逐頁應用的，而不是用于治理整個站點的單個文件，例如disallow命令。

但是，noindex屬性比禁止索引更強大，因為它們會停止索引。

像禁止命令一樣，noindex屬性可能會意外地實時上線。它們是很難發現的阻止者之一。

7.不正確的規范標簽

規范標簽可識別要從多個相同版本中索引的頁面。規范標簽是防止重復內容的重要武器。所有非規范頁面將其鏈接權限（鏈接到它們的頁面傳達的值）歸因于規范URL。非規范頁面未編制索引。

規范標簽隱藏在源代碼中。錯誤可能很難發現。假如您網站上的所需網頁未編入索引，則可能是錯誤的規范標簽。

鹿死踏正仰尤華別燕殿夏鞋雖灑鏡雷嗓激旨燈叔缺飯昏隆鍵撫鉗塊和與稱書土撲艇幅財階可搶瓦油膏熔更牛粒它則趨技搬陵能陵畜羊烤濾飼幟七萍蛙傍留記鞋拜罩悲掉輪她枕害紀恐姜溜更烏架柴暖望博要筑08p4T。SEO成功的7個編碼障礙。道心seo,seo優化方法大全,北京一名seo的工資