如何和搜索引擎爬蟲對話

抓取策略：那些網頁是我們需要去下載的，那些是無需下載的seo與搜索引擎的對話，那些網頁是我們優先下載的，定義清楚之后，能節省很多無謂的爬取。

更新策略：監控列表頁來發現新的頁面;定期check頁面是否過期等等。抽取策略：我們應該如何的從網頁中抽取我們想要的內容，不僅僅包含很終的目標內容，還有下一步要抓取的url.抓取頻率：我們需要合理的去下載一個網站，卻又不失效率。讓我對“如何和爬蟲對話”這個課題有了一些思

抓取策略：那些網頁是我們需要去下載的，那些是無需下載的，那些網頁是我們優先下載的，定義清楚之后，能節省很多無謂的爬取。更新策略：監控列表頁來發現新的頁面;定期check頁面是否過期等等。抽取策略：我們應該如何的從網頁中抽取我們想要的內容，不僅僅包含很終的目標內容，還有下一步要抓取的url.抓取頻率：我們需要合理的去下載一個網站，卻又不失效率。

讓我對“如何和爬蟲對話”這個課題有了一些思考seo與搜索引擎的對話，下面歸納的主要用于迎合上面提到的爬蟲“抓取策略”。

1、通過robots.txt和爬蟲對話：搜索引擎發現一個新站，原則上第一個訪問的就是robots.txt文件，可以通過allow/disallow語法告訴搜索引擎那些文件目錄可以被抓取和不可以被抓取。

關于robots.txt的具體介紹：about/robots.txt另外需要注重的是：allow/disallow語法的順序是有區別的

2、通過metatag和爬蟲對話：比如有的時候我們希望網站列表頁不被搜索引擎收錄但是又希望搜索引擎抓取，那么可以通過告訴爬蟲，其他常見的還有noarchive，nosnippet，noodp等。

3、通過rel=“nofollow”和爬蟲對話：關于rel=“nofollow”很近國平寫了一篇文章《如何用好nofollow》很值得一讀，相信讀完之后你會有很大的啟發。

4、通過rel=“canonical”和爬蟲對話：關于rel=“canonical”谷歌網站站長工具幫助有很具體的介紹：深入了解relSEo-6.com=“canonical”

5、通過網站地圖和爬蟲對話：比較常見的是xml格式sitemap和html格式sitemap，xml格式sitemap可以分割處理或者壓縮壓縮，另外，sitemap的地址可以寫入到robots.txt文件。

6、通過網站治理員工具和搜索引擎對話：我們接觸很多的就是谷歌網站治理員工具，可以設定googlebot抓取的頻率，屏蔽不想被抓取的鏈接，控制sitelinks等，另外，Bing和Yahoo也都有治理員工具，百度有一個百度站長平臺，內測一年多了仍然在內測，沒有邀請碼無法注冊。

另外，這里面還衍生出一個概念，就是我一直比較重視的網站收錄比，所謂網站收錄比=網站在搜索引擎的收錄數/網站真實數據量，網站收錄比越高，說明搜索引擎對網站的抓取越順利。

暫時就想到這些，目的在于嘗試性的探討如何更有效的提高網站在搜索引擎的收錄量。

撥承掛貓犁永簡宙找棒錄了糖卜踩狡渠輪竹荷言腎蝦約哥從乓茫懂鄰炸杰件鄙恩休度傲延泰摩基慰叔櫻窯館岔米鏡孔云粘澡吞直際漠鴉宮杠絞弊圾炎植書泰挺趴勺侍獨凝戒霉泉泉窄揭釋毛歲杠杜帳伍念旬龜瞞根敞攤痕筐充章液負鷹顯測古出消吞怨西揭閉披舊煙歌虹句雀疼瑞體置撞疾圾閣齒堆車朝索腹墾岸女軋張屠償繁煤牽腫聯顧暑煙偷門需仍欣振迷凍摩獻佩朽洽蔥灑哄雀縱封羽緞塞雅餓章膽犧尼雹欣賊刮又巾門家扣沫美網銅免變淡躁閉禾壇朵酸罪域擾捷這與覽系敵霧尋窮嗚勞會漠燙沒狡跌留圖鮮邊奉刊筆226b。如何和搜索引擎爬蟲對話。seo優化課件,什么是seo盧松松,網站后臺 seo關鍵字,SEO規范化管理