Web爬虫 - 抓取网站内容的库

分类 - 设置更多关注

排序

按热度排序
14 182 75

爬虫轻型框架
 
0.6 0.0
  9月前
3 181 43

G 根据关键词,自动从搜索引擎采集相关网站的真实地址与标题,并且可以自动保存为文件,自动去除重复URL。同时,也可以自定义忽略多条域名。
 
0.6 0.0
  2月前
16 181 70

J 京东抢购助手:包含登录,查询商品库存/价格,添加/清空购物车,抢购商品(下单),查询订单等功能
 
0.6 2.7
  14天前
25 176 129

T 天猫双12爬虫,附商品数据。
 
0.5 0.0
  2年前
19 175 70

P Python爬虫,京东自动打码登录,指定商品自动加购物车,自动下单,指定时间抢购商品
 
0.5 0.0
  1年前
16 171 31

R 理论上 Python 2.7+ 和 Python 3.6+ 都可以用
 
0.5 0.2
6 158 62

Z 自动爬取Github上文件敏感信息泄露,抓取邮箱密码并自动登录邮箱验证,支持126,qq,sina,163邮箱
 
0.5 0.0
  2年前
22 155 26

C crawley - 基于非阻塞I/O操作的Pythonic爬虫框架
 
0.5 0.0
  3年前
10 154 56

D 豆瓣电影/豆瓣读书 Scarpy 爬虫
 
0.5 0.0
10 143 21

B book.zi5.me全站kindle电子书籍爬取,按照作者书籍名分类,每本书有mobi和equb两种格式,采用分布式进行全站爬取
 
0.4 1.3
  22天前
10 142 24

Y 一个用于scrapy爬虫的自动代理中间件。可自动抓取和切换代理,自定义抓取和切换规则。
 
0.4 0.0
  1年前
13 140 25

Y 一份关于scrapy爬虫开发过程中的注意事项和笔记
 
0.4 0.0
  1年前
10 137 10

S selenium_extensions - 这个工具让使用Selenium进行测试编写和爬虫更加方便
 
0.4 0.0
  9月前
11 135 35

H Haul:一个可以扩展的图像爬取工具
 
0.4 0.0
  5年前
14 135 51

G Google search results crawler, get google search results that you need
 
0.4 0.0