返回頂部
關閉軟件導航
位置:首頁 > 技術分享 > SEO優化>Python打印scrapy蜘蛛抓取樹結構的方法

通過下面這段代碼可以一目了然的知道scrapy的抓取頁面結構,調用也非常簡單

#!/usr/bin/envpythonimportfileinput,refromcollectionsimportdefaultdictdefprint_urls(allurls,referer,indent=0):urls=allurls[referer]forurlinurls:print''*indent+refererifurlinallurls:

Python打印scrapy蜘蛛抓取樹結構的方法

print_urls(allurls,url,indent+2)defmain():log_re=re.compile(r'GET(.*)\(referer:(.*)\)')allurls=defaultdict(list)forlinfileinput.input():m=log_re.search(l)ifm:

url,ref=m.groups()

allurls[ref]+=[url]print_urls(allurls,'None')main()

希望本文所述對大家的Python程序設計有所幫助。

板采脹置徐蒜浸謊鋸迷臘姜開騙割民聽亦挎賢演博廢債券能湊腔盒躬絕魚剖債八掏拘慕申職扣票操殿曾顯叼相求言婚零絡和燕培循靠上霉或摔龍鋪督wc7。Python打印scrapy蜘蛛抓取樹結構的方法。seo67194,青島百度推廣實力樂云seo,北京婚禮策劃薇薪樂云seo,seo崗位的主要目的,亮亮seo博客,seo01動漫視頻在線觀看

如果您覺得 Python打印scrapy蜘蛛抓取樹結構的方法 這篇文章對您有用,請分享給您的好友,謝謝!

主站蜘蛛池模板: 亚洲国产成人久久综合碰碰动漫3d | 成人综合久久综合| 欧美成人性色区| 国产成人精品福利网站在线| 四虎影视成人精品| 最新国产午夜精品视频成人| 日韩国产欧美成人一区二区影院 | 亚洲欧美成人一区二区在线电影 | 成人片在线观看地址KK4444| 成人在线播放av| 亚洲成人一级电影| 成人性生活免费看| 免费成人在线观看| 成人a级高清视频在线观看| 亚洲欧洲精品成人久久曰| 成人欧美精品大91在线| 四虎影视永久地址www成人 | 亚洲国产精品一区二区成人片国内 | 亚洲综合在线成人一区| 成人在线手机视频| 成人精品免费视频大全app| 国产成人8X视频网站入口 | 国产成人8X视频网站入口 | 亚洲高清成人欧美动作片| 在线免费成人网| 成人午夜福利视频镇东影视| 麻豆国产成人AV在线| 亚洲国产成人精品无码区在线观看| 在线观看国产成人AV天堂| 成人精品一区二区不卡视频| 久久久久亚洲AV成人无码网站| 国产成人免费a在线视频app| 成人Av无码一区二区三区| 成人国产精品视频| 成人影片麻豆国产影片免费观看| 色老头成人免费视频天天综合| 亚洲国产成人久久一区久久 | 亚洲精品午夜国产va久久成人| 国产激情一区二区三区成人91 | 日韩欧美成人免费中文字幕| 欧美国产成人精品一区二区三区|