Web爬虫 - 抓取网站内容的库

分类 - 设置更多关注

排序

按热度排序
10 142 23

Y 一个用于scrapy爬虫的自动代理中间件。可自动抓取和切换代理,自定义抓取和切换规则。
 
0.4 0.0
  1年前
12 141 47

P 异步爬虫代理池,以 Python asyncio 为基础,旨在充分利用 Python 的异步性能。
 
0.4 0.5
  1月前
12 140 24

Y 一份关于scrapy爬虫开发过程中的注意事项和笔记
 
0.4 0.0
  11月前
11 136 33

H Haul:一个可以扩展的图像爬取工具
 
0.4 0.0
  5年前
11 134 11

S selenium_extensions - 这个工具让使用Selenium进行测试编写和爬虫更加方便
 
0.4 0.0
  7月前
3 134 38

G 根据关键词,自动从搜索引擎采集相关网站的真实地址与标题,并且可以自动保存为文件,自动去除重复URL。同时,也可以自定义忽略多条域名。
 
0.4 0.2
  16天前
5 130 58

Z 自动爬取Github上文件敏感信息泄露,抓取邮箱密码并自动登录邮箱验证,支持126,qq,sina,163邮箱
 
0.4 0.0
  2年前
11 127 62

Z 知乎爬虫:python27 +requests+json+bs4+time
 
0.4 0.0
  2月前
12 125 31

Z 知乎爬虫(scrapy默认配置下单机1小时可爬取60多万条数据)
 
0.4 0.0
  10月前
10 124 48

D 豆瓣电影/豆瓣读书 Scarpy 爬虫
 
0.4 0.3
7 124 36

微信群与论坛双向通信机器人
 
0.4 0.0
  1年前
13 119 44

G Google search results crawler, get google search results that you need
 
0.4 0.3
14 116 31

Z Scraped data from the 2016 U.S. Election (President, Senate, House, Governor) and primaries, ballot measures and exit polls
 
0.4 0.0
  2年前
325 5.6k 2.2k

P Python3网络爬虫实战:VIP视频破解助手;GEETEST验证码破解;小说、动漫下载;手机APP爬取;财务报表入库;火车票抢票;抖音APP视频下载;百万英雄辅助;网易云音乐批量下载
 
0.3 1.0
  1月前
12 111 48

J 京东抢购助手:包含登录,查询商品库存/价格,添加/清空购物车,抢购商品(下单),查询订单等功能
 
0.3 5.300000000000001
  5天前
11 108 31

Y 用于运行你的scrapy爬虫的一个flask API
 
0.3 0.0
  2年前