现在很多网站都有反爬技术,对于生产上,我们也是使用代理来解决的吗?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
反爬虫技术有很多种,代理IP只是其中一种解决方案。要知道网站的反爬技术,需要做大量的测试才能得知。
最为常见的是访问频率、请求头Referer属性、验证码、用户登录访问限制等等。而大量数据处理一般做分布式数据库。