目标反爬虫怎么办？实践出真知-scrapy集成动态ip代理(以阿布云为例)
360截图20180712215548501.jpg
一、前言
在爬虫行当，每天都要面对目标反爬虫技术，我们想要拿到数据，就需要针对它们的反爬虫来制定绕过方法，比如它识别你的UserAgent，那你可能就需要伪造、它限制IP请求次数，你可能就需要限速或者改变ip、它用验证码来识别你是人是机，你就需要模拟人的操作并且正确填写它给你弹出的验证码等等。
上海云栖大会 - 阿里云 MVP 专场，等你加入
云栖大会的阿里云 MVP 专场是由 阿里云MVP 为演讲嘉宾输出的精品分论坛，阿里云 MVP 是云计算的布道师，行业的领路人，他们游走在各行业间，对专业领域颇有建树，他们有丰厚的技术沉淀，他们通过自身最佳实践的分享切实帮助广大技术人。
