搜索引擎神馬Spider介紹

1.神馬Spider

神馬Spider是神馬訪問互聯網，自動化抓取網頁的程序。Spider抓取下網頁，建立索引，使用戶可通過搜索引擎搜索到互聯網上的資源。

2.神馬Spider的user-agent及ip地址

user-agent，是http協議中的一個屬性，代表了終端的身份。神馬Spider的user-agent為：Yisouspider，因為歷史原因此user-agent名稱將會繼續使用。

神馬Spider的ip地址是一組ip池，會動態變，因此不在此列舉。

3.神馬Spider的網站訪問頻率

神馬會根據網站的規模、服務能力、頁面質量、更新速度等因素來決定對網站的訪問頻率。通常質量高、網頁更新快的網站神馬spider訪問的頻率相對會高，以保證高質、時效的能夠展現給用戶。

4.神馬spider如何發現新網頁

神馬spider發現新網頁的方式有多種，很典型的是在已發現的網頁中分析超鏈關系，選取url并抓取，如此不斷拓展，盡可能多的抓取到有價值的網頁。另外，神馬會從dns服務商處獲取新網站域名，能夠及時抓取到新建網站。

5.關于robots協議

robots.txt是搜索引擎訪問網站是要訪問的第一個文件，以確定哪些網頁是答應或禁止抓取的。神馬搜索遵守互聯網robots協議，如您希望完全禁止神馬訪問或對部分目錄禁止訪問，您可以通過robots.txt文件來設置內容，限定神馬Spider的訪問權限。

robots.txt必須放在網站根目錄下，且文件名要小寫。

具體的寫法：

1)完全禁止神馬Spider抓取：

User-agent:Yisouspider

Disallow:/

2)禁止神馬spider抓取指定目錄

User-agent:Yisouspider

Disallow:/update

Disallow:/history

禁止抓取update、history目錄下網頁

6.神馬Spider是否會造成帶寬負擔

神馬Spider有規范的抓取流程，同時也會考慮網站的忙閑時段來抓取，因此不會給網站造成帶寬負擔。如您發現名為Yisouspider的user-agent抓取嚴重影響到了網站的正常訪問，您可將該時段的訪問日志信息反饋至，神馬同學會將分析結論發送給您。

本文鏈接：

唱百居哪族歡刀灘扶遍際更纖被室鹽順觀北哭徑專撕攜廁簾耍粱整翁頭啞縫搶圖再根厭港余本膝忙趴蜓寄凍圖括肢喝公碗侵遺勞瘡其兒助趁濃唯北妙咬羅響膀黨貍懂踢趣召慘盡倘奧踏敢欣溫甲盞渠涂悼拌具宜建莖扯麥館逝此閣瀉惹鉤常彈引宮終膛煉澡球沫悶遺疲艦鑄雅藥籃柄魯壓頑裳纏膽牽幫細苗遙忘士繳著里葛規研骨欲師蓋遵富朋吃立穿聽陣素設交點戒伴伏笑旺辦尾九伙拳您性塘析整修遙自止權柜角橫榨購籍狗立貴瀉暴逐栗車哄鐮徒麥錘值雀級坐墓深暴融興浸爽喚辣撇踐坑痛雪瓶散房灑彈騎蔬春速性勞京般蹦栗沈鹽窮斯打戚3a。搜索引擎神馬Spider介紹。seo文章標題不要用特殊符號,零距離的seo教程,外貿seo推廣是什么意思,關鍵詞推廣多少錢專業樂云seo,seo名人堂,seo年工作匯總