请问百度蜘蛛每天大量连接超时怎么解决的各位
百度站长工具----抓取异常----蜘蛛每天都有大量的连接超时，
华北2服务器，计算型2核4g，10m带宽
折腾了一个月了，升级配置，升级带宽，更换系统，更换web服务器，win和cenos都尝试了，后台工单提交客服也没解决，云盾卸载了，ddos白名单加了0.0.0.0也无用
请问到底咋回事，有个大神能给解决不
我在别的idc也有一台服务器，具体哪家不说了，省的说我打广告，很少出现链接超时，基本一个月有一两天有个几次，但是这个阿里云的也太多了吧，百度5000次抓取300次超时
展开
收起
3
条回答
写回答
写回答
-
推荐回答:
还是看下日志吧，看是哪些页面抓取错误....
百度站长里面应该能看到，然后具体页面具体分析。
蜘蛛爬取和普通访问的行为和返回应该是一致的，可以模拟蜘蛛抓取，找出问题。
官方帮助文档地址：阿里云帮助中心
更多参考： 阿里云官网(新用户需注册查看)，可领上云红包
2021-07-08 18:26:58赞同 展开评论 打赏 -
还是看下日志吧，看是哪些页面抓取错误....百度站长里面应该能看到，然后具体页面具体分析。蜘蛛爬取和普通访问的行为和返回应该是一致的，可以模拟蜘蛛抓取，找出问题。
2018-09-04 14:05:00赞同 展开评论 打赏 -
Re请问百度蜘蛛每天大量连接超时怎么解决的各位是不是硬件防火墙拦截百度蜘蛛了，就不能把蜘蛛添加白名单吗？
-------------------------
Re请问百度蜘蛛每天大量连接超时怎么解决的各位有知道怎么解决的吗？难道非要逼我换走吗2018-09-04 13:07:03赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
问答排行榜
最热
最新
推荐问答
