3
条回答
写回答
写回答
-
技术架构师 阿里云开发者社区技术专家博主 CSDN签约专栏技术博主 掘金签约技术博主 云安全联盟专家 众多开源代码库Commiter- 动态网页
- ip限制
2019-11-12 17:13:22赞同 展开评论 打赏 -
1.通过headers反爬虫
2.基于用户行为的发爬虫：(同一IP短时间内访问的频率)
3.动态网页反爬虫(通过ajax请求数据，或者通过JavaScript生成)
4.对部分数据进行加密处理的(数据是乱码)解决方法：
对于基本网页的抓取可以自定义headers,添加headers的数据 使用多个代理ip进行抓取或者设置抓取的频率降低一些， 动态网页的可以使用selenium + phantomjs 进行抓取 对部分数据进行加密的，可以使用selenium进行截图，使用python自带的pytesseract库进行识别，但是比较慢最直接的方法是找到加密的方法进行逆向推理。2019-11-11 12:43:58赞同 展开评论 打赏 -
精于基础，广于工具，熟于业务。我遇到的反爬策略是页面元素ID会变更。解决办法就是采用相对路径来定位这个元素。因为这个元素，还有就是同元素的属性，使用xpath的表达式来定位。
2019-11-11 11:23:30赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
