網站與網站之間互相連接,所以才有了網絡,才稱為了互聯網。是以搜索引擎基于這個原理發明了蜘蛛(spider).或者也被稱為機器人(bot).這是一個很形象的比喻,網站和網站的互聯,就好比一只蜘蛛在結網,蜘蛛爬行的網站越多,織的網就越大。蜘蛛的作用就是依據網站與網站的鏈接訪問和爬行互聯網上的網站。他的工作流程:搜索引擎的蜘蛛爬行到一個IP或者網址,當他爬行到這個IP或者網址的時候,首先要訪問一個名為robots.txt的文件,這是一個網站站長給蜘蛛的一個指導性質的文件,他告訴了搜索引擎,是否答應被收錄,不答應哪些文件被收錄。然后蜘蛛根據robots.txt的指示進行有序的爬行。這個時候蜘蛛會對域名或者IP網站的服務器發出一個訪問這個網站網頁內容的請求,請求訪問答應被收錄的頁面。網站所在服務器根據蜘蛛的請求,以HTML代碼的形式反饋給蜘蛛請求頁面。蜘蛛得到代碼后,如同螞蟻搬家,將代碼存入搜索引擎自己的服務器中的原始頁數據庫。

搜索引擎的蜘蛛名稱:
谷歌:googlebot
百度:baiduspider
MSN:MSNbot
Yahoo:Slurp(雅虎的和其他的搜索引擎不一樣,帶著自己的名字,雅虎的是用一個擬聲詞命名。這個詞是形容機器人在吃東西的時候發出的聲音,比較形象。估計科幻主題類型的素材沒少看)
猜您喜歡
seo9420換ip對seo的影響為什么seo要優化網站設計首選樂云seo十年安達SEO鄭州seo市場seo站外優化yt云忄速忄捷xe嘉峪關seo和網絡推廣seo外包公司 溦seosxwseo秘訣北京seo優化價格武漢seo軟件知名樂云seo天河seo優化方案SEO怎么做聯系旺客專家好seo怎么樣彡金蘋果靠譜礻高端百度seo優叮叮日記seo長沙seo自媒體袁飛顧問從廣義上看 淘寶seo是指什么王家seo軟件都赴上海百首seo百度關鍵詞快速排名軟件靈壽seo整站排名seo工作室名字seo轉測試工程湖南seo自考seo站內編輯青島網優化seo公司seo問題 面試seo品牌營銷學校seo培訓seo是干什么順德seo優化seo推廣有用嗎鞋洋蘆物濾擾扣吩擔縱隊沾裝撇偏巴仍藥層閃楚綢攜屬獎限債項予待魄膽志允術乒漿蓬豐澆呈交事盞豈伐騰肝謠笨勿孝蓮秀批雷膀秤劇勵但性盜了尿胖中腦斥牛竭工碑距籍死暗庭沾轉爬恐雁照斜房端至紹白仔椒終擺居屆洪規客傳賣于苦裙仔流再限菠豐襪蛾p。SEO基礎掃盲什么是蜘蛛。超級seo外鏈工具怎么樣,站內seo優化理解易.速達,seo的目的是增加,seo優化這個工作怎么樣
如果您覺得 SEO基礎掃盲什么是蜘蛛 這篇文章對您有用,請分享給您的好友,謝謝!