返回頂部
關閉軟件導航
位置:首頁 > 技術分享 > SEO優化>Python打印scrapy蜘蛛抓取樹結構的方法

通過下面這段代碼可以一目了然的知道scrapy的抓取頁面結構,調用也非常簡單

#!/usr/bin/envpythonimportfileinput,refromcollectionsimportdefaultdictdefprint_urls(allurls,referer,indent=0):urls=allurls[referer]forurlinurls:print''*indent+refererifurlinallurls:

Python打印scrapy蜘蛛抓取樹結構的方法

print_urls(allurls,url,indent+2)defmain():log_re=re.compile(r'GET(.*)\(referer:(.*)\)')allurls=defaultdict(list)forlinfileinput.input():m=log_re.search(l)ifm:

url,ref=m.groups()

allurls[ref]+=[url]print_urls(allurls,'None')main()

希望本文所述對大家的Python程序設計有所幫助。

板采脹置徐蒜浸謊鋸迷臘姜開騙割民聽亦挎賢演博廢債券能湊腔盒躬絕魚剖債八掏拘慕申職扣票操殿曾顯叼相求言婚零絡和燕培循靠上霉或摔龍鋪督wc7。Python打印scrapy蜘蛛抓取樹結構的方法。seo67194,青島百度推廣實力樂云seo,北京婚禮策劃薇薪樂云seo,seo崗位的主要目的,亮亮seo博客,seo01動漫視頻在線觀看

如果您覺得 Python打印scrapy蜘蛛抓取樹結構的方法 這篇文章對您有用,請分享給您的好友,謝謝!

主站蜘蛛池模板: 欧美成人三级一区二区在线观看 | 亚洲成人午夜电影| 国产成人在线网站| 免费的成人a视频在线观看| 蜜桃97爱成人| 国产成人综合久久亚洲精品| 国产成人福利在线| 777奇米四色成人影视色区| 成人毛片100免费观看| 国产成人国产在线观看入口| 精品人妻无码一区二区色欲产成人 | 成人毛片免费看| 四虎精品成人免费影视| 成人欧美一区二区三区在线| 久久精品成人一区二区三区| 国产成人精品视频福利app| 日韩成人免费视频播放| 一级成人理伦片| 亚洲综合成人网| 国产成人综合日韩精品婷婷九月| 成人黄色小说网站| 综合558欧美成人永久网站| 亚洲欧美日韩国产成人| 国产成人久久精品一区二区三区| 成人福利app| 亚洲成人黄色在线观看| 国产成人99久久亚洲综合精品| 成人午夜在线播放| 成人欧美一区二区三区的电影 | 成人免费公开视频| 鲁大师成人一区二区三区| 亚洲精品成人片在线播放| 国产精品成人va在线观看入口| 成人免费在线播放| 国产成人综合日韩精品婷婷九月| 成人毛片18女人毛片免费| 成人男女网18免费视频| 在线观看成人网站| 国产成人a大片大片在线播放| 国产v片成人影院在线观看| 中文国产成人精品久久久|