部署了CDN，但是爬虫抓取仍然超时。
部署了CDN，但是在提交链接给百度搜索引擎的时候，百度抓取上显示抓取超时，部分链接偶尔有这种情况。用户是可以正常打开的。
这是怎么回事呢？应如何优化CDN，让爬虫也可以更好的抓取到网站内容？
展开
收起
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
3
条回答
写回答
-
2021-12-10 20:02:33赞同 展开评论
-
-
相关问答