首页  >  Python开发 >  Web爬虫

Web爬虫 - 抓取网站内容的库

分类 - 设置更多关注

排序

按热度排序
Web爬虫
867 6k 2.6k
TuShare是爬取中国股票历史数据的工具
T TuShare是实现对股票/期货等金融数据从**数据采集**、**清洗加工** 到 **数据存储**过程的工具
 
10.0 1.0
0.2.0
Web爬虫
230 3.7k 1.1k
简易爬虫代理池
简易爬虫代理池
 
10.0 0.8
  7天前
Popular
Web爬虫
316 3.7k 1.3k
越来越多的网站具有反爬虫特性，有的用图片隐藏关键数据
Y 越来越多的网站具有反爬虫特性，有的用图片隐藏关键数据，有的使用反人类的验证码，建立反反爬虫的代码仓库，通过与不同特性的网站做斗争（无恶意）提高技术
 
10.0 9.8
  5天前
Popular
Web爬虫
194 3.3k 1.2k
Python3网络爬虫实战
P Python3网络爬虫实战：VIP视频破解助手；GEETEST验证码破解；小说、动漫下载；手机APP爬取；财务报表入库；火车票抢票；抖音APP视频下载；百万英雄辅助；网易云音乐批量下载
 
10.0 10.0
  3天前
Web爬虫
249 3k 973
收集各种爬虫 （默认爬虫语言为 python）
S 收集各种爬虫 （默认爬虫语言为 python）
 
10.0 0.7000000000000001
  6天前
Web爬虫
136 2.9k 350
各种不同语言实现的爬虫程序和爬虫框架集合
G 各种不同语言实现的爬虫程序和爬虫框架集合
 
10.0 3.2
  昨天
Web爬虫
233 2.5k 738
一个采用celery和requests构建的微博分布式爬虫
Y 一个采用celery和requests构建的微博分布式爬虫
 
10.0 0.5
  1月前
Web爬虫
234 2.5k 737
新浪微博爬虫(分布式)，部署简单，接口丰富，文档详细，视频支持
X 新浪微博爬虫(分布式)，部署简单，接口丰富，文档详细，视频支持，可灵活定制满足自己的需求。抓取内容（PC端）包括微博用户资料、特定关键词微博、用户主页所有微博、评论信息和转发信息。欢迎watch跟进
 
10.0 0.5
  1月前
Web爬虫
162 2.2k 790
基于搜狗微信搜索的微信公众号爬虫接口
J 基于搜狗微信搜索的微信公众号爬虫接口
 
9.1 0.7000000000000001
v4.2.2
Popular
Web爬虫
1.7k 28.2k 7k
Scrapy：一个快速高级的网站截图和网页采集框架
S Scrapy：一个快速高级的网站截图和网页采集框架
 
9.0 10.0
1.5.0
Web爬虫
51 983 151
fake-useragent 伪装浏览器身份，常用于爬虫
F fake-useragent 伪装浏览器身份，常用于爬虫。这个项目的代码很少，可以阅读一下，看看 ua.random 是如何返回随机的浏览器身份的
 
3.0 0.0
  5月前
Web爬虫
99 969 378
PSpider - Python3下极为简洁的爬虫框架
P PSpider - Python3下极为简洁的爬虫框架
 
3.0 1.3
  11天前
Web爬虫
24 883 50
Sukhoi 简约和强大的Web爬虫
S Sukhoi 简约和强大的Web爬虫
 
2.8000000000000003 0.0
v1.0.0
Web爬虫
77 755 258
django-dynamic-scraper - 通过Django管理界面创建爬虫
D django-dynamic-scraper - 通过Django管理界面创建爬虫
 
2.3000000000000003 0.0
  8月前
Web爬虫
81 751 391
Python爬虫，京东自动登录，在线抢购商品
P Python爬虫，京东自动登录，在线抢购商品
 
2.3000000000000003 0.0
  6月前
Web爬虫
144 744 138
crawl-frontier-一个灵活前沿的web 抓取框架
C crawl-frontier-一个灵活前沿的web 抓取框架
 
2.3000000000000003 0.0
v0.7.1
Web爬虫
55 673 195
爬取微信公众号文章
P 爬取微信公众号文章
 
2.1 0.0
  2年前
Web爬虫
36 573 156
jd_spider：使用 scrapy, scrapy-redis, graphite 实现的京东分布式爬虫
jd_spider：使用 scrapy, scrapy-redis, graphite 实现的京东分布式爬虫
 
1.7999999999999998 0.0
  3月前
Web爬虫
50 490 202
从头开始 系统化的 学习如何写Python爬虫
C 从头开始 系统化的 学习如何写Python爬虫。 Python版本 3.6
 
1.5 3.3000000000000003
  昨天
Web爬虫
26 411 80
一个基于 Scrapy 的爬虫实现租房信息聚合分析
Y 租房信息聚合分析，目前聚合了 58 同城，豆瓣，链家 的上百个城市地区的租房信息，可选择只扒取你感兴趣的城市。
 
1.5 7.199999999999999
  1月前
Web爬虫
39 461 229
QQ Groups Spider（QQ 群爬虫）
QQ Groups Spider（QQ 群爬虫）
 
1.4000000000000001 0.0
  6月前