开发者社区> 问答> 正文

部署了CDN,但是爬虫抓取仍然超时。

部署了CDN,但是在提交链接给百度搜索引擎的时候,百度抓取上显示抓取超时,部分链接偶尔有这种情况。用户是可以正常打开的。

这是怎么回事呢?应如何优化CDN,让爬虫也可以更好的抓取到网站内容?

展开
收起
kkjackson 2018-05-23 09:10:18 4181 0
3 条回答
写回答
取消 提交回答
  • 推荐回答:

    CDN对客户端而言仅对静态数据请求有效,这边爬虫状况可以描述详细些不

    官方帮助文档地址:阿里云帮助中心

    更多参考: 阿里云官方(新用户需官网注册查看)

    2021-12-10 20:02:33
    赞同 展开评论 打赏
  • fralychen

    CDN对客户端而言仅对静态数据请求有效,这边爬虫状况可以描述详细些不

    2019-07-17 22:27:05
    赞同 展开评论 打赏
  • 是不是cdn有防榨取机制啊

    2019-07-17 22:27:05
    赞同 展开评论 打赏
问答分类:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
CDN助力企业网站进入HTTPS时代 立即下载
构建智能化的视频系统 阿里云CDN的进化 立即下载
CDN数据化实践 立即下载