开发者社区> 问答> 正文

百度爬虫抓取时间大涨

从21日开始,百度爬虫来访问小站的抓取时间大涨,平均抓取时间由过去平稳时期的200ms,到目前的9s,







架构如下图:




从nginx A和nginx B的访问日志来看,baiduspider过来的request_time都很短,都在500ms以内,但是从站长上来看,平均时长昨天达到了8s


窃窃问一句,是不是slb的问题?



展开
收起
小鱼手游 2016-07-28 14:12:33 3334 0
1 条回答
写回答
取消 提交回答
  • Re百度爬虫抓取时间大涨
    系统的各个地方都审查过,经过17ce和alibench显示,网络速度,打开速度,都是正常,只能怀疑slb了
    2016-07-28 14:14:37
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
AIOps-百度的思考与实践 立即下载
百度外卖从IDC到云端服务迁移历程 立即下载
百度研发工具集的应用实践——打造持续交付路上的“三堵墙” 立即下载