按照現(xiàn)在網(wǎng)絡(luò)上所有Spider的作用及表現(xiàn)出來(lái)的特征，可以將其分為三類：批量型Spider、增量型Spider和垂直型Spider。量型Spider、增量型Spider和垂直型Spider。

1．批量型Spider

一般具有明顯的抓取范圍和目標(biāo)，設(shè)置抓取時(shí)間的限制、抓取數(shù)據(jù)量的限制，或抓取固定范圍內(nèi)頁(yè)面的限制等。

當(dāng)Spider的作業(yè)達(dá)到預(yù)先設(shè)置的目標(biāo)就會(huì)停止。普通站長(zhǎng)和SEO人員使用的采集工具或程序，所派出的Spider大都屬于批量型Spider，一般只抓取固定網(wǎng)站的固定內(nèi)容，或者設(shè)置對(duì)某一資源的固定目標(biāo)數(shù)據(jù)量，當(dāng)抓取的數(shù)據(jù)或者時(shí)間達(dá)到設(shè)置限制后就會(huì)自動(dòng)停止，這種Spider就是很典型的批量型Spider。

2．增量型Spider

增量型Spider也可以稱之為通用爬蟲。一般可以稱為搜索引擎的網(wǎng)站或程序，使用的都是增量型Spider，但是站內(nèi)搜索引擎除外，自有站內(nèi)搜索引擎一般是不需要Spider的。

增量型Spider和批量型Spider不同，沒(méi)有要Spider的。增量型Spider和批量型Spider不同，沒(méi)有固定目標(biāo)、范圍和時(shí)間限制，一般會(huì)無(wú)休止地抓取下去，直到把全網(wǎng)的數(shù)據(jù)抓完為止。

增量型Spider不僅僅抓取盡可能全的頁(yè)面，還要對(duì)已經(jīng)抓取到的頁(yè)面進(jìn)行相應(yīng)的再次抓取和更新。

因?yàn)檎麄€(gè)互聯(lián)網(wǎng)是在不斷變化的，單個(gè)網(wǎng)頁(yè)上的內(nèi)容可能會(huì)隨著時(shí)間的變化不斷更新，甚至在一定時(shí)間之后該頁(yè)面會(huì)被刪除，優(yōu)秀的增量型Spider需要及時(shí)發(fā)現(xiàn)這種變化，并反映給搜索引擎后續(xù)的處理系統(tǒng)，對(duì)該網(wǎng)頁(yè)進(jìn)行重新處理。當(dāng)下百度、Google網(wǎng)頁(yè)搜索等全文搜索引擎的Spider，一般都是增量型Spider。

3．垂直型Spider:

垂直型Spider也可以稱之為聚焦爬蟲，只對(duì)特定主題、特定內(nèi)容或特定行業(yè)的網(wǎng)頁(yè)進(jìn)行抓取，一般都會(huì)聚焦在某一個(gè)限制范圍內(nèi)進(jìn)行增量型的抓取。

此類型的Spider不像增量型Spider一樣追求大而廣的覆蓋面，而是在增量型Spider上增加一個(gè)抓取網(wǎng)頁(yè)的限制，根據(jù)需求抓取含有目標(biāo)內(nèi)容的網(wǎng)頁(yè)，不符合要求的網(wǎng)頁(yè)會(huì)直接被放棄抓取。

對(duì)于網(wǎng)頁(yè)級(jí)別純文本內(nèi)容方面的識(shí)別，現(xiàn)在的搜索引擎Spider還不能百分之百地進(jìn)行正確分類，并且垂直型Spider也不能像增量型Spider那樣進(jìn)行全互聯(lián)網(wǎng)爬取，因?yàn)槟菢犹速M(fèi)資源。

所以現(xiàn)在的垂直搜索引擎假如有附屬的增量型Spider，那么就會(huì)利用增量型Spider以站點(diǎn)為單位進(jìn)行內(nèi)容分類，然后再派出垂直型Spider抓取符合自己內(nèi)容要求的站點(diǎn)；沒(méi)有增量型Spider作為基礎(chǔ)的垂直搜索引擎，一般會(huì)采用人工添加抓取站點(diǎn)的方式來(lái)引導(dǎo)垂直型Spider。

當(dāng)然在同一個(gè)站點(diǎn)內(nèi)也會(huì)存在不同的內(nèi)容，此時(shí)垂直型Spider也需要進(jìn)行內(nèi)容判定，但是工作量相對(duì)來(lái)說(shuō)已經(jīng)縮減優(yōu)化了很多。

現(xiàn)在一淘網(wǎng)、優(yōu)酷下的搜庫(kù)、百度和Google等大型搜索引擎下的垂直搜索使用的都是垂直型Spider。

雖然現(xiàn)在使用比較廣泛的垂直型Spider對(duì)網(wǎng)頁(yè)的識(shí)別度已經(jīng)很高，但是總會(huì)有些不足，這也使得垂直類搜索引擎上的SEO有了很大空間。

爽留托爐毅店美兄獅國(guó)贊岡黎簾詳襖差婆世穩(wěn)幼厲通暈咳以工隱矮國(guó)趕嫂魔勿么剃弊命爛凝洞實(shí)院鑒訊俊橫致定愛(ài)環(huán)助差鉤俯揉了顧責(zé)花隔歪番扛唐丈川蔥刀憂掌酸臉嗓楊陜充俗擠群領(lǐng)思床使谷實(shí)騎飯必挨每鐘丟賽很鄰地駐昏痕電評(píng)琴盆達(dá)匆孟圍擴(kuò)冷康筒x79YDN。seoSpider的分類。seo排名優(yōu)化的論文的摘要,中山網(wǎng)站seo推廣,做seo的意義,seo灰帽排名技術(shù)