这个爬虫真难整？！！！：报错
我想写一个网络爬虫！！！！！
在写关于Google的搜索的时候发生了异常！！！！
异常为 server redirected too many times(20).
我配置的Google URL为：http://www.google.com.hk/search?hl=zh-CN&newwindow=1&q={keyword}&aq=f&oq=
请大家给点意见！！！
展开
收起
1
条回答
写回答
写回答
-
访问太频繁!######中间歇一下######每次get后sleep一个小随机数###### 推荐大家使用我们开发的神箭手云爬虫（ http://www.shenjianshou.cn ），完全在云上编写和执行爬虫，不需要配置任何开发环境，快速开发快速实现。
简单几行 javascript 就可以实现复杂的爬虫，同时提供很多功能函数：反反爬虫、 js 渲染、数据发布、图表分析、反防盗链等，这些在开发爬虫过程中经常会遇到的问题都由神箭手帮你解决。
demo 源码地址： https://github.com/ShenJianShou/crawler_samples
官方开发者QQ群：3429534712020-06-09 11:42:13赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
