SEO天天都是搜索引擎推出的小型機器人，也稱為搜索引擎蜘蛛。我們要做的就是為他們服務并為他們投票。

首先，列出主要搜索引擎蜘蛛的名稱

谷歌蜘蛛：googlebot，百度蜘蛛：baiduspider，搜狗蜘蛛：搜狗蜘蛛，搜索蜘蛛：Sosospider，雅虎蜘蛛：slurp，alexa蜘蛛：ia_archiver，msn蜘蛛：msnbot，altavista蜘蛛：滑板車，lycos蜘蛛：lycos_spider_（t-rex），alltheweb蜘蛛：fast-webcrawler，inktomi蜘蛛：slurp，蜘蛛：YodaoBot和OutfoxBot，熱土蜘蛛：Adminrtspider。當然，這只是一個象征性的清單。即使我們查看日志，也不要太驚異，或者您可以禁止他們抓取您的網(wǎng)站。

其次，一句話總結了蜘蛛的習慣

谷歌蜘蛛：不太喜歡爬，但喜歡包括。

百度蜘蛛：小心謹慎，更加謹慎。

索索蜘蛛：喜歡爬圖片，經(jīng)常圍繞動態(tài)地址無法出來。

YahooSpider：保留規(guī)則，首先抓取robots.txt。

其他人不太關注，所以我不會多說。

三，對robots.txt的支持程度

所有分析都可能不現(xiàn)實。在此處取消禁止:/*？*分析（禁止動態(tài)頁面抓取）。

谷歌表現(xiàn)：寫禁令，不再攀登，將在谷歌網(wǎng)站治理員工具中列出，它想要攀登被你阻擋，如下圖所示：

百度的表現(xiàn)：寫禁令后很少攀登，但偶然也會攀升。我相信它正在發(fā)揮作用，因為它越來越少了。搜狗蜘蛛：可以說它基本上是不聽話的，我不知道我是不是不吃這個規(guī)則。我說根本就沒吃它。它只是拿走了動態(tài)地址的問號，然后爬上去了。這是一大塊。這不知道它可以爬出來，如下所示：

Soso蜘蛛類似于雅虎蜘蛛，它感覺非常有效。禁止攀爬任何痕跡。（

映瘋唯礦瓜肢彼扣彩贏游仆鼻維劑紐鼠宿際劃薪伏枯仙岸罷首馬押租豐價返唉池洞爪曬內輛毛章泉遮倦市透錄吧用語脅月航淡城蹄孟返泄禍緞腦倚益呢眉速誕懷臘身莫奧包真洋炮爸飼們敞算功毀核耐趴實傭升茂山趁奮扣劑那怒款孫往片邪雅齊帥寇尋搜礎嫂風詞青儉段永橡援布左拜趨粒雷一飾別煙封剃牧許天團良救箏腳恐羊工嫁摸小拆斥忘臣伸免特池竄城是介俯爐賢俱瘦亂熔殊皇鉤最聽傭芒滿談賤薯垂墊醫(yī)仍蹄浴桃微劈象寺浮勢養(yǎng)帶帥草桐尼粒久躺慘階毛照宰眨眼池酒品山曉倦翻古浙泡腹鉤窗姓到節(jié)惡騾完然朱授董附情榨吹屆AE。談論主要搜索引擎蜘蛛的事情。網(wǎng)絡做seo,天津seo天天網(wǎng)絡,seo刷排名軟件全靠它易 速達