昨天有学员问我爬虫的问题，说xpath语法写出来没数据。其实可能是其他地方错了，而不是xpath语法的问题，我们需要学会找错误的原因。
- 打印下请求的内容，看有没有你要的数据。
- 没有的话，是不是请求错误。
- 请求成功是不是异步加载。
这样一步步排错。
今天继续这位学员的问题，他需要爬取微打赏的数据。
网站分析
-
打开网站，翻页网页不变，看看是post的请求，很好办，直接把参数怼进去，这里只要切换page就能进行翻页。
Python爬虫之微打赏爬虫
2017-07-25
870
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
昨天有学员问我爬虫的问题，说xpath语法写出来没数据。其实可能是其他地方错了，而不是xpath语法的问题，我们需要学会找错误的原因。打印下请求的内容，看有没有你要的数据。
目录
相关文章
|
9天前
|
数据采集
Web App开发
数据安全/隐私保护
|
1月前
|
数据采集
Web App开发
自然语言处理
|
28天前
|
数据采集
监控
数据库
Python异步编程实战：爬虫案例
🌟 蒋星熠Jaxonic，代码为舟的星际旅人。从回调地狱到async/await协程天堂，亲历Python异步编程演进。分享高性能爬虫、数据库异步操作、限流监控等实战经验，助你驾驭并发，在二进制星河中谱写极客诗篇。
133
3
3
|
29天前
|
数据采集
存储
XML
|
15天前
|
数据采集
存储
JSON
|
19天前
|
数据采集
存储
JavaScript
解析Python爬虫中的Cookies和Session管理
Cookies与Session是Python爬虫中实现状态保持的核心。Cookies由服务器发送、客户端存储，用于标识用户；Session则通过唯一ID在服务端记录会话信息。二者协同实现登录模拟与数据持久化。
174
0
0
|
1月前
|
数据采集
存储
Web App开发
|
1月前
|
数据采集
Web App开发
前端开发
|
1月前
|
数据采集
网络协议
API
|
1月前
|
数据采集
监控
Shell
无需Python：Shell脚本如何成为你的自动化爬虫引擎？
Shell脚本利用curl/wget发起请求，结合文本处理工具构建轻量级爬虫，支持并行加速、定时任务、增量抓取及分布式部署。通过随机UA、异常重试等优化提升稳定性，适用于日志监控、价格追踪等场景。相比Python，具备启动快、资源占用低的优势，适合嵌入式或老旧服务器环境，复杂任务可结合Python实现混合编程。
106
0
0
热门文章
最新文章
1
唯品会item_search - 按关键字搜索 VIP 商品接口深度分析及 Python 实现
2
5分钟学会用Python爬取知乎热榜：从零开始的实战指南
3
唯品会 item_get - 获得 VIP 商品详情接口深度分析及 Python 实现
4
Python神技：用列表推导式让你的代码更优雅
5
告别 os.path 的繁琐：拥抱 Python 的 pathlib
6
Python字典：高效数据管理的瑞士军刀
7
（Python基础）新时代语言！一起学习Python吧！（一）：认识Python、Py解释器作用；编写第一个Python程序；Python中的基本数据结构
8
淘宝商品详情接口（item_get）企业级全解析：参数配置、签名机制与 Python 代码实战
9
超越`open()`：深入理解Python的`with`语句
10
AI智能体开发实战：17种核心架构模式详解与Python代码实现