我想写一个网络爬虫!!!!!
在写关于Google的搜索的时候发生了异常!!!!
异常为 server redirected too many times(20).
我配置的Google URL为:http://www.google.com.hk/search?hl=zh-CN&newwindow=1&q={keyword}&aq=f&oq=
请大家给点意见!!!
访问太频繁!######中间歇一下######每次get后sleep一个小随机数###### 推荐大家使用我们开发的神箭手云爬虫( http://www.shenjianshou.cn ),完全在云上编写和执行爬虫,不需要配置任何开发环境,快速开发快速实现。
简单几行 javascript 就可以实现复杂的爬虫,同时提供很多功能函数:反反爬虫、 js 渲染、数据发布、图表分析、反防盗链等,这些在开发爬虫过程中经常会遇到的问题都由神箭手帮你解决。
demo 源码地址: https://github.com/ShenJianShou/crawler_samples
官方开发者QQ群:342953471
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。