开发者社区> 问答> 正文

请问百度蜘蛛每天大量连接超时怎么解决的各位

小猪快跑尼 2018-09-04 13:05:43 1566
百度站长工具----抓取异常----蜘蛛每天都有大量的连接超时,
华北2服务器,计算型2核4g,10m带宽
折腾了一个月了,升级配置,升级带宽,更换系统,更换web服务器,win和cenos都尝试了,后台工单提交客服也没解决,云盾卸载了,ddos白名单加了0.0.0.0也无用
请问到底咋回事,有个大神能给解决不
我在别的idc也有一台服务器,具体哪家不说了,省的说我打广告,很少出现链接超时,基本一个月有一两天有个几次,但是这个阿里云的也太多了吧,百度5000次抓取300次超时

网络安全
分享到
取消 提交回答
全部回答(2)
  • 服务器云
    2018-09-04 14:05:00
    还是看下日志吧,看是哪些页面抓取错误....
     
    百度站长里面应该能看到,然后具体页面具体分析。
     
    蜘蛛爬取和普通访问的行为和返回应该是一致的,可以模拟蜘蛛抓取,找出问题。


    0 0
  • 小猪快跑尼
    2018-09-04 13:07:03
    Re请问百度蜘蛛每天大量连接超时怎么解决的各位
    是不是硬件防火墙拦截百度蜘蛛了,就不能把蜘蛛添加白名单吗?

    -------------------------

    Re请问百度蜘蛛每天大量连接超时怎么解决的各位
    有知道怎么解决的吗?难道非要逼我换走吗
    0 0
添加回答
+ 订阅

云安全开发者的大本营

推荐文章
相似问题