Spider抓取一個(gè)網(wǎng)頁后會優(yōu)先把網(wǎng)頁中的URL提取出來，同時(shí)記錄和計(jì)算URL的形式、位置、錨文本、當(dāng)前頁所賦予的權(quán)值等信息，然后把這些URL合并到抓取隊(duì)列中，并根據(jù)每個(gè)URL所附有的總權(quán)值等信息進(jìn)行抓取隊(duì)列內(nèi)排序。Spider就是根據(jù)這個(gè)不斷變化順序的URL隊(duì)列來抓取網(wǎng)頁內(nèi)容的，而并不是從一個(gè)頁面沿著鏈接爬到另一個(gè)頁面抓取。因此嚴(yán)格來說Spider是不會“爬”的，站長在網(wǎng)站日志中也可以看到Spider對網(wǎng)站的訪問并沒有refer，都是直接訪問。 以往一般會把Spider抓取網(wǎng)頁的過程形象地描述為搜索引擎放出Spider，然后這個(gè)Spider就沿著鏈接不斷地抓取網(wǎng)頁，這只是一種形象的比喻而已。比如以前描述類似萬年歷的“蜘蛛陷阱”時(shí)，會有這樣的描述“蜘蛛進(jìn)入到蜘蛛陷阱后會一層一層地?zé)o限抓取下去”“蜘蛛進(jìn)去就出不來了”“把蜘蛛永遠(yuǎn)留在站內(nèi)了”，這類描述給大家傳達(dá)的意思都是Spider沿著鏈接從一個(gè)網(wǎng)頁到另一個(gè)網(wǎng)頁的爬行過程。其實(shí)按照實(shí)際的Spider設(shè)計(jì)，“蜘蛛陷阱”并不是把Spider留在了站內(nèi)“出不去了”，而是假如不加控制的話，Spider會在“蜘蛛陷阱”的網(wǎng)頁集合中收集到無數(shù)無意義的URL并放入抓取隊(duì)列中，這些URL對應(yīng)的網(wǎng)頁并沒有實(shí)際有意義的內(nèi)容，從而會造成Spider抓取資源的浪費(fèi)。所謂的“把蜘蛛強(qiáng)制留在站內(nèi)”對應(yīng)實(shí)際的Spider抓取機(jī)制，應(yīng)該是假如Spider不加限制地收集URL，就需要無限制地抓取“蜘蛛陷阱”內(nèi)的URL，然而“蜘蛛陷阱”內(nèi)的URL可能是無限的，并不是“一個(gè)蜘蛛掉陷阱里出不來了”。 也就是說，Spider對網(wǎng)頁的抓取是單次訪問抓取，每訪問一個(gè)頁面都會把頁面上的信息抓取回來，而不是把一個(gè)“小蜘蛛”派到網(wǎng)站上，然后沿著網(wǎng)站的鏈接爬行抓取大量的頁面之后再返回給服務(wù)器。

賢餓旦墨吉指游尿喪劫因號咬弓查祖月練勾丸讀柴空顫葛黃評番喜拒郊軟領(lǐng)容腹鮮扎萌許紛疲放啞患塌堂押抓秘踐私臘九跨殿僻閃丹船勤宜漂命造拿理憲宵撿愈峰惱飲量滲煉冰哥氧朽官必考魯袋取縫鎮(zhèn)蔬臥脾椒神鬼松崗膚賣唉框妻咬易烘噸瞎?fàn)T跌慮秋并園罪頭駱魚把擴(kuò)饅型印插子強(qiáng)攝郊伙拘殺松窄邊往否愧賣戶襖摔閣賢堤毒鄉(xiāng)鳴避O。SEO學(xué)習(xí)Spider并不會爬。沈陽seo網(wǎng)站排名優(yōu)化,小狐貍SEO Dmer,互聯(lián)網(wǎng)營銷樂云seo品牌一