开发者社区> 问答> 正文

这个爬虫真难整?!!!:报错

我想写一个网络爬虫!!!!!

在写关于Google的搜索的时候发生了异常!!!!

异常为 server redirected too many times(20).

我配置的Google URL为:http://www.google.com.hk/search?hl=zh-CN&newwindow=1&q={keyword}&aq=f&oq=

请大家给点意见!!!

展开
收起
kun坤 2020-06-09 11:42:05 479 0
1 条回答
写回答
取消 提交回答
  • 访问太频繁!######中间歇一下######每次get后sleep一个小随机数###### 推荐大家使用我们开发的神箭手云爬虫( http://www.shenjianshou.cn ),完全在云上编写和执行爬虫,不需要配置任何开发环境,快速开发快速实现。 
    简单几行 javascript 就可以实现复杂的爬虫,同时提供很多功能函数:反反爬虫、 js 渲染、数据发布、图表分析、反防盗链等,这些在开发爬虫过程中经常会遇到的问题都由神箭手帮你解决。 
    demo 源码地址: https://github.com/ShenJianShou/crawler_samples
    官方开发者QQ群:342953471

    2020-06-09 11:42:13
    赞同 展开评论 打赏
问答分类:
问答标签:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
Python第五讲——关于爬虫如何做js逆向的思路 立即下载
美团 crash 监控分析系统优化之路:crash 率从千分位到万分位 立即下载
属兔的处子——Clojure太灵活,臣妾驾驭不住啊 立即下载