WebMagic 如何正确的处理报错的请求??报错-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

WebMagic 如何正确的处理报错的请求??报错

爱吃鱼的程序员 2020-06-05 13:54:46 44

有部分请求失败,可能是网络的原因,对于这部分请求我应该如何正确的去处理?因为是初探爬虫这一块,不是太懂。

数据采集
分享到
取消 提交回答
全部回答(1)
  • 爱吃鱼的程序员
    2020-06-05 13:54:59
                        <p>没找到轮子,错误就重试,重试三次后不行就放弃,把错误的URL记录到文本文件中</p>
    
    0 0
大数据
使用钉钉扫一扫加入圈子
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

推荐文章
相似问题