这个爬虫真难整?!!!:报错 -问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

这个爬虫真难整?!!!:报错

kun坤 2020-06-09 11:42:05 109

我想写一个网络爬虫!!!!!

在写关于Google的搜索的时候发生了异常!!!!

异常为 server redirected too many times(20).

我配置的Google URL为:http://www.google.com.hk/search?hl=zh-CN&newwindow=1&q={keyword}&aq=f&oq=

请大家给点意见!!!

数据采集
分享到
取消 提交回答
全部回答(1)
  • kun坤
    2020-06-09 11:42:13

    访问太频繁!######中间歇一下######每次get后sleep一个小随机数###### 推荐大家使用我们开发的神箭手云爬虫( http://www.shenjianshou.cn ),完全在云上编写和执行爬虫,不需要配置任何开发环境,快速开发快速实现。 
    简单几行 javascript 就可以实现复杂的爬虫,同时提供很多功能函数:反反爬虫、 js 渲染、数据发布、图表分析、反防盗链等,这些在开发爬虫过程中经常会遇到的问题都由神箭手帮你解决。 
    demo 源码地址: https://github.com/ShenJianShou/crawler_samples
    官方开发者QQ群:342953471

    0 0
大数据
使用钉钉扫一扫加入圈子
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

推荐文章
相似问题