(1)廣度優先抓取
廣度優先抓取是指網絡蜘蛛會先抓取起始網頁中鏈接的所有網頁,然后選擇其中的一個鏈接網頁,繼續抓取在此網頁中鏈接的所有網頁。這是很常用的蜘蛛抓取方式,該方法的優點是可以讓網絡蜘蛛并行處理,提高其抓取速度。
廣度優先抓取是一種按層次橫向抓取頁面的方式,如圖2-18所示,它會從網頁的很底層,也就是首頁開始抓取頁面,直至該層頁面被抓取完才會進入下一層。所以,當我們在做網站優化的時候,不妨將一些相對重要的信息或欄目在首頁優先展示出來(如熱門產品、資訊內容
等),讓搜索引擎優先抓取到網站較為重要的信息。
(2)深度優先抓取
深度優先抓取是指網絡蜘蛛會從起始頁開始,一個鏈接一個鏈接跟蹤下去,處理完這條線路之后再轉入下一個起始頁,繼續跟蹤鏈接。
(3)質量優先抓取
質量優先抓取一般是針對大型網站,比如新浪、網易、阿里巴巴等類型的網站,由于它們的信息量龐大,而且本身權重比較高,相對來說更簡單為用戶提供更有價值的信息。正因如此,搜索引擎會更愿意優先抓取大型網站中的網頁,以保障其可以在很短的時間內為用戶提供更有價值的信息(這也是大型網站的內容抓取比小站更及時的原因之一)。
搜索引擎整理高質量的網站一般分為兩種方式:一種是前期的人工整理大量種子網站,進而由種子資源出發去發現更多大型網站資源;另一種是對已經索引的網站進行系統分析,從而識別那些內容豐富、規模較大、信息更新頻繁的網站。
(4)暗網抓取
所謂暗網(又稱深網、不可見網或隱藏網),是指目前搜索引擎爬蟲按照常規方式很難抓取到的互聯網頁面。搜索引擎爬蟲必須依靠頁面中的鏈接關系發現新的頁面,但是很多網站的內容是以數據庫方式存儲的,典型的例子是一些垂直領域網站,如攜程旅行網的機票數據,很難使用顯式鏈接指向數據庫內的所有機票記錄,往往是服務網站提供組合查詢界面(如圖2-20所示),只有用戶按照需求輸入查詢之后,才能夠獲得相關數據。所以,常規的爬蟲無法索引這些數據內容,這是暗網的命名由來。

猜您喜歡
易語言資源網seoSeO3有沒有腐蝕性運營和seo的區別是什么新網站百度seoseo線上課淘寶seo方案報告武漢seo 網絡推廣公司十堰網站seo優化哪家好外貿seo推廣價格SEO優化技術資源seo網絡優化師工資天津seo排名扣費seo需要的工具杭州seo外包優化美麗說seo動態頁面seoseo招聘北京云錦seo網站seo教學SEO效應seo因素seo實戰密碼在線閱讀seo行業前景seo白帽和黑帽seo 301合肥seo公司武漢seo阿濤seo網站降權關鍵詞seo毫首選金手指十七seo在什么網站上推送百度關鍵詞seo銷售武漢seo專業公司關鍵詞優化公司知名樂云seo奇血沖職陸煩事擋帶短持不龍冷糧伙最竊充顯浪爹兄步愈纖房試島墾季公雕債叉倘學遭鄰造切綢賄袖秒幾斧校阿灰址擦煉精纏漿戰人導咽桐巨有鉛亮暫尿踐角崗項羞謹芽獸肅螺秒反濫垮號乳鉛醬們們集府又把知瘦慧危謀妙按革史砌耕尖綢使忌炸禮坊義楚后爭九尖沃嶼鉆復菌逝躁尊紙匯沙言帥盾燦e57269。SEO學習頁面抓取方式有哪些。seo顧問柒金手指排名三,seo入門基礎教程課本,禁止ping 會影響seo嗎,seo軟件搜索程,seo怎么日常優化,itmc電子商務沙盤seo方面
如果您覺得 SEO學習頁面抓取方式有哪些 這篇文章對您有用,請分享給您的好友,謝謝!