基于scrapy-redis的分布式爬虫,爬取JD图书,当当图书和Amazon图书

采用scrapy-redis爬去京东图书,当当图书和Amazon图书,采用分布式爬虫爬取数据,实现爬虫的暂停和开始,断点再续,URL去重,数据存储等,属于轻量级爬虫

相关的项目 - 更多比较

906 6.5k 2.8k

T TuShare是实现对股票/期货等金融数据从**数据采集**、**清洗加工** 到 **数据存储**过程的工具
 
10.0 3.3000000000000003
  前天
368 5.3k 1.4k

S 收集各种爬虫 (默认爬虫语言为 python)
 
10.0 2.7
  18天前
283 4.9k 1.9k

P Python3网络爬虫实战:VIP视频破解助手;GEETEST验证码破解;小说、动漫下载;手机APP爬取;财务报表入库;火车票抢票;抖音APP视频下载;百万英雄辅助;网易云音乐批量下载
 
10.0 2.8000000000000003
  昨天