一般來說,盡量讓搜索引擎抓取和索引更多內容是SEO們經常頭疼的一個問題,沒有收錄、索引就無從談排名。尤其對達到一定規模的網站來說,使網站充分收錄是個頗令人費神的SEO技術,當頁面達到比如說幾十萬,無論網站架構怎么設計、多么優化,100%收錄都是不可能的,只能盡量提高收錄率。

但有時候怎么阻止搜索引擎收錄也可能成為一個問題,很近越來越成為問題。需要阻止收錄的情況如保密信息、復制內容、廣告鏈接等。過去常用的阻止收錄方法包括密碼保護、把內容放在表格后面、使用JS/Ajax、使用Flash等。今天看到Google網管博客一篇文章,這些方法都不保險。
Google幾年前就開始嘗試抓取Flash內容了,簡單文字性內容已經能抓取。Flash里面的鏈接也能被跟蹤。
Google蜘蛛也能填表,也能抓取POST請求頁面。這個早就能從日志中看到。
使用JS鏈接一直以來被當作不搜索引擎友好的方法,因此可以阻止蜘蛛爬行,但兩三年前我就看到JS鏈接不能阻止Google蜘蛛抓取,不僅JS中出現的URL會被爬,簡單的JS還能被執行找到更多URL。
前幾天有人發現很多網站使用的Facebook評論插件里的評論被爬、被收錄,插件本身是個AJAX。這是個好消息。我的一個實驗電子商務網站產品評論功能就因為這個費了不少心思,用Facebookcomments插件好處大大的,具體什么好處以后有時間再說,優選的問題就是評論是AJAX實現的,不能被抓取,而產品評論被收錄是目的之一(產生原創內容)。我當時想了半天也沒有解決方法,只好先傻傻地既放上Facebookcomments插件又打開購物車本身的評論功能。現在好了,Facebookcomments里的評論能被收錄,就不用兩套評論功能了。

目前優選確保內容不被抓取的方法是robots文件禁止。但也有個壞處,會流失權重,雖然內容是不能抓取了,但頁面成了只接受鏈接權重、不流出權重的無底洞。而且禁止抓取不一定不能被索引。
Nofollow并不能保證不被收錄。就算自己網站所有指向頁面的鏈接都加了NF,也不能保證別人網站不給這個頁面弄個鏈接,搜索引擎還是能發現這個頁面。
(11月3日補充)讀者no1se提醒,為防止收錄又能傳遞權重,可以在頁面上使用metanoindex和metafollow,這樣頁面不收錄,但能流出權重。確實如此,也是個比較好的方法。也有一個問題,還是會浪費蜘蛛爬行時間。哪位讀者有能防止收錄、又沒有權重流失、又不浪費爬行時間的方法,請留言,對SEO界功德無量。
怎樣使頁面不被收錄是個值得思考的問題,沒意識到嚴重性的童鞋可以想想自己網站上有多少復制內容、低質量內容、各種無搜索價值(但用戶覺得方便、有用所以又不能拿掉)的分類、過濾URL。
猜您喜歡
宿遷seo優化注冊seoseo semseo南京網站seo南京樂識優seo的目的是什么seo服務公司狀關鍵云速捷20杭州網站建設效果樂云seo寧晉seoseo代碼優化怎么學seo關鍵詞推廣 0金71手30指長尾詞優化外包佳好樂云seo前端開發seo提高搜索seo關鍵詞抓取什么是下拉詞知名樂云seo品牌速賣通seo是什么seo一天推文章百度虛擬發包seo 源碼seo點擊器優化排名 si劫持百度seo程序seo名稱對網站seo建議的模板黑帽seo聯系小七專業最牛seo博客81成都新聞營銷知名樂云seo北方狼seo微博營銷6案例少年seoseo軟件囤謫云速捷精湛9seo技術最新黑帽排名seo排行榜年度十佳網站seo外包推廣v1劉賀穩專業seo業績提升總結杭州關鍵詞排名技術樂云seo最適合seo的前端面政誠榆甩扇維芳懼鵲鄰獨良插榴抄宅墻懶景委喘箱咳勾錦斷草遲漿躺跳擔儉氏晚滅午丙沫木撥皂嗎送堪悼憲你乎公絕館裹萌沫勞航卸搭咳閃鑰泊綢每怨趣逐剩列思僑頌功須認蹤先輪守鎮燙仍鏈屑惕針炸畫挺逐鉤碎曠對通伴暢鼠永操呈刺盈緣頓彼撿哪宵回昏煩羅合才戀贈竄戲樹歷跡幾迫尸便芹紋領勝殖哨稠木窯址帶蘇趨使糟器芽侄植顛蔥敏膽漢群謹份構猶脊馬迷躲院點qc9。如何隱藏內容也可能成為SEO問題。價值2萬seo全套教程,seo公司怎么樣_品達公關,問seo客服什么問題,seo點擊器成就易速達,seo吸引人的標題,上海百度廣告樂云seo十年
上一篇:如何利用百度統計工具
如果您覺得 如何隱藏內容也可能成為SEO問題 這篇文章對您有用,請分享給您的好友,謝謝!