昨天有学员问我爬虫的问题，说xpath语法写出来没数据。其实可能是其他地方错了，而不是xpath语法的问题，我们需要学会找错误的原因。
- 打印下请求的内容，看有没有你要的数据。
- 没有的话，是不是请求错误。
- 请求成功是不是异步加载。
这样一步步排错。
今天继续这位学员的问题，他需要爬取微打赏的数据。
网站分析
-
打开网站，翻页网页不变，看看是post的请求，很好办，直接把参数怼进去，这里只要切换page就能进行翻页。
Python爬虫之微打赏爬虫
2017-07-25
807
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
昨天有学员问我爬虫的问题，说xpath语法写出来没数据。其实可能是其他地方错了，而不是xpath语法的问题，我们需要学会找错误的原因。打印下请求的内容，看有没有你要的数据。
目录
相关文章
|
14天前
|
数据采集
存储
API
网络爬虫与数据采集：使用Python自动化获取网页数据
【4月更文挑战第12天】本文介绍了Python网络爬虫的基础知识，包括网络爬虫概念（请求网页、解析、存储数据和处理异常）和Python常用的爬虫库requests（发送HTTP请求）与BeautifulSoup（解析HTML）。通过基本流程示例展示了如何导入库、发送请求、解析网页、提取数据、存储数据及处理异常。还提到了Python爬虫的实际应用，如获取新闻数据和商品信息。
33
2
2
|
18天前
|
数据采集
Python
|
24天前
|
数据采集
安全
Python
|
4天前
|
数据采集
存储
JSON
Python爬虫面试：requests、BeautifulSoup与Scrapy详解
【4月更文挑战第19天】本文聚焦于Python爬虫面试中的核心库——requests、BeautifulSoup和Scrapy。讲解了它们的常见问题、易错点及应对策略。对于requests，强调了异常处理、代理设置和请求重试；BeautifulSoup部分提到选择器使用、动态内容处理和解析效率优化；而Scrapy则关注项目架构、数据存储和分布式爬虫。通过实例代码，帮助读者深化理解并提升面试表现。
13
0
0
|
7天前
|
数据采集
JavaScript
前端开发
使用Python打造爬虫程序之破茧而出：Python爬虫遭遇反爬虫机制及应对策略
【4月更文挑战第19天】本文探讨了Python爬虫应对反爬虫机制的策略。常见的反爬虫机制包括User-Agent检测、IP限制、动态加载内容、验证码验证和Cookie跟踪。应对策略包括设置合理User-Agent、使用代理IP、处理动态加载内容、验证码识别及维护Cookie。此外，还提到高级策略如降低请求频率、模拟人类行为、分布式爬虫和学习网站规则。开发者需不断学习新策略，同时遵守规则和法律法规，确保爬虫的稳定性和合法性。
15
1
1
|
18天前
|
数据采集
存储
前端开发
|
1月前
|
数据采集
存储
Web App开发
|
1月前
|
数据采集
前端开发
JavaScript
Python爬虫零基础到爬啥都行
Python爬虫项目实战全程实录，你想要什么数据能随意的爬，不管抓多少数据几分钟就能爬到你的硬盘，需要会基本的前端技术（HTML、CSS、JAVASCRIPT）和LINUX、MYSQL、REDIS基础。
20
1
1
|
1月前
|
数据采集
JSON
数据格式
|
2月前
|
数据采集
存储
架构师
上进计划 | Python爬虫经典实战项目——电商数据爬取！
在如今这个网购风云从不间歇的时代，购物狂欢持续不断，一年一度的“6.18年中大促”、“11.11购物节”等等成为了网购电商平台的盛宴。在买买买的同时，“如何省钱？”成为了大家最关心的问题。
比价、返利、优惠券都是消费者在网购时的刚需，但在这些“优惠”背后已产生灰色地带。
65
2
2
热门文章
最新文章
1
阿里云 MaxCompute MaxFrame 开启免费邀测，统一 Python 开发生态
2
使用Python实现DBSCAN聚类算法
3
在Python Web开发过程中：数据库与缓存，MySQL和NoSQL数据库的主要差异是什么？
4
流畅的 Python 第二版（GPT 重译）（一）(1)
5
【Python】python天气数据抓取与数据分析（源码+论文）【独一无二】
6
Python 学习之路 01基础入门---【Python安装，Python程序基本组成】
7
流畅的 Python 第二版（GPT 重译）（十一）(1)
8
Python 数据分析（PYDA）第三版（三）（1）
9
Python函数使用(四)
10
Python速成篇（基础语法）上
1
【爬虫pyspider教程】1.pyspider入门与基本使用
45
2
Python爬虫-使用代理伪装IP
25
3
python爬虫 Appium+mitmdump 京东商品
32
4
登录态数据抓取：Python爬虫携带Cookie与Session的应用技巧
32
5
给我举几个爬虫抓取数据时遇到错误的例子。
16
6
给你一个具体的网站，你会如何设计爬虫来抓取数据？
23
7
请解释什么是代理服务器，以及在爬虫中如何使用代理服务器？
70
8
深入浅出：基于Python的网络数据爬虫开发指南
31
9
python爬虫之app爬取-微信朋友圈
79
10
python爬虫之app爬取-mitmproxy 的使用
38