开发者社区> 春泥入海> 正文

阿里云CDN搬站第二期 运维及管理

简介: CDN通过在现有网络中增加一层新的cache节点,将源站的内容发布到最接近用户的网络节点,使得客户端在请求时直接访问命中该资源,减少回源情况,提高网站访问速度,因此很多业务都需要使用CDN进行分发。因此本文就CDN的及优化策略提供思路,便于将业务切到CDN上来1、了解阿里CDN 阿里最初也是租用第三方 CDN,结果存在功能欠缺及不稳定等诸多问题,整个系统的 规模、性能、可用性和可管理性都不符合阿里的需求,为了满足更大规模的并发需求,阿里CDN也由此应运而生。
+关注继续查看

CDN通过在现有网络中增加一层新的cache节点,将源站的内容发布到最接近用户的网络节点,使得客户端在请求时直接访问命中该资源,减少回源情况,提高网站访问速度,因此很多业务都需要使用CDN进行分发。因此本文就CDN的及优化策略提供思路,便于将业务切到CDN上来
1、了解阿里CDN
阿里最初也是租用第三方 CDN,结果存在功能欠缺及不稳定等诸多问题,整个系统的 规模、性能、可用性和可管理性都不符合阿里的需求,为了满足更大规模的并发需求,阿里CDN也由此应运而生。
目前阿里CDN的简单架构如下图,CDN节点可分为L1节点和L2节点,L1节点分布在全国各省市,L2节点分布在几个大区:
_1

1.客户端在请求一个域名时,会先向本地的localdns查询域名对应的IP地址,localdns再向权威DNS进行查询,由阿里CDN进行调度,给出此localdns对应分配的节点。
2.客户端向节点发起建连,当L1节点有缓存则会HIT,直接将数据吐给客户端。当无资源缓存时,会向L2节点进行请求对应的资源,同理L2有缓存则直接返回,无缓存就会回客户源站取资源,并按照配置的缓存策略进行缓存。
了解CDN的架构、调度以及缓存逻辑,是业务稳定的第一步,而如何实现CDN的分发,并提高CDN的缓存命中就是一个很关键的需求。

2、命中率优化:

  1. 预热功能是指将URL提前上传到CDN的L2节点上,再次访问时无需从源站获取资源,因此预热可以减少回源,保证访问效果。预热的前提是配置了域名缓存,只有配置了对应的缓存规则,按照业务需要配置缓存后测试是否生效,可以通过curl命令测试,查看文件是否有HIT:
    image

预热方法可参考:
https://help.aliyun.com/document_detail/121122.html
对于文件量大的情况,可以调用接口进行预热,注意预热是有队列限制的,队列为100,如果调用过快会报错,这也是避免大量文件进行回源打垮源站
https://help.aliyun.com/document_detail/91161.html
若有在其他厂商使用CDN,可以导出近期URL访问top列表,在阿里CDN控制台进行预热,然后再进行切量。

刷新则是当源站有文件更新时,需要调用刷新,将节点上缓存的旧文件进行刷新。刷新后CDN节点的缓存内容将会被强制过期。当您向CDN节点请求资源时,CDN会直接回源站拉取对应的资源返回给您,并将其缓存。
刷新方法可参考:
https://help.aliyun.com/document_detail/121122.html
对于源站是oss的情况,可以在OSS上配置文件自动刷新,不用人工去管理
image

  1. 去参数缓存
    阿里CDN是根据URL完整匹配进行缓存的,即对于带参数的请求,如http://www.abc.com?123,默认是不会和http://www.abc.com使用同一个缓存的。因此对于URL中带参数和不带参数其实是一个文件的业务,可以开启去参数缓存,将参数去除,改为同一个缓存,提高文件命中率:

https://help.aliyun.com/document_detail/27128.html

  1. 开启gzip压缩

        GZIP压缩可以减少传输内容大小,当CDN开启GZIP压缩后,客户端请求带上Accept-Encoding:gzip头时,CDN会响应GZIP的资源:

    https://help.aliyun.com/document_detail/27127.html

通过curl测试同样也能看到是否生效:
image

3、CDN防盗链/URL鉴权

盗链常见于某些网站直接将其他网站的资源放到自己页面上,骗取最终用户的浏览和点击率,而真正的服务网站却得不到任何的收益。因此我们可以开启防盗链,将referer来源禁用,或者只允许某一页面来源请求:

https://help.aliyun.com/document_detail/27134.html
测试可发现防盗链已生效:
_2

同时辅以URL鉴权,保护站点的内容资源不被非法站点下载盗用

https://help.aliyun.com/document_detail/85117.html

4、RAM授权:
针对不同场景可以配置不同的授权策略,比如针对只想允许子账号拥有只读以及刷新预热权限,可以使用如下策略,如有需要其他策略,可以按照ram授权策略自行授权:
https://help.aliyun.com/document_detail/27154.html
{
"Version": "1",
"Statement": [
{
"Action": [
"cdn:Describe*",
"cdn:PushObjectCache",
"cdn:RefreshObjectCaches"
],
"Resource": "*",
"Effect": "Allow"
}
]
}

5、云监控告警:

目前CDN有对接云监控,可以关注域名的指标变化看业务是否有异常,建议针对5xx状态码、下行流量等进行监控,如有变化时第一时间提醒消息接收人,避免业务影响进一步扩大

https://help.aliyun.com/document_detail/113988.html

6、日志分析

用户访问出现异常时,可以先通过CDN控制台的监控初步判断是否有异常,当看错误率没有明显变化时,可以下载CDN日志进行判断,当时用户的访问是否有异常。
目前CDN常见有两种日志
1. 历史日志:历史日志目前延时在4小时左右,可以用于分析历史问题,梳理用户异常。日志字段可参考:

https://help.aliyun.com/document_detail/27142.html
image

2. 实时日志:实时日志延时时间短,当出现问题时,可以马上查看日志情况,且日志结合了sls日志服务,可以快速统计需要的数据,比如客户端访问top10、状态码分布top情况等。也建议开通实时日志,便于问题排查

https://help.aliyun.com/document_detail/91314.html
image

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
基于阿里云SLS日志服务的数据安全管理
伴随云原生的发展,以应用为核心的可观测监控越发得到广泛应用。在应用的可观测性中,日志的收集及内容监控是可观测性监控的一个重要内容,然而日志的监控数据,并不同于某项指标的测量结果数据,其往往都会包含业务或与用户相关的敏感性信息,因此,在落实日志的收集和监控的同时,我们也要注意日志数据的安全管理。
173 0
阿里云助力重庆渝北区道路停车AI智能化管理
停车不再焦心,缴费不再等待!
233 0
TDengine x 阿里云计算巢:实现集群自动化部署,费用透明化管理
本文是涛思数据上架到计算巢的方案介绍,原文请查看:https://mp.weixin.qq.com/s/ItPoI6CeAIya17ChyFjXGA近年来,随着云技术的快速发展,企业上云成为一大趋势。中国信息通信研究院披露的数据显示,2021 年中国云计算市场规模达到 3102 亿元,增速达 48.4%,中国公有云市场将保持高速增长态势。不只是传统企业,在信息化时代,软件上云也逐渐具备了必要性和重
136 0
阿里云 ACK One 多集群管理再升级:GitOps 多集群持续集成,统一报警管理
本文介绍了 ACK One 近期发布的 2 个主要特性,增强了多集群应用分发与运维管理能力,包括应用分发 GitOps,统一报警管理。
143 0
使用阿里云管理Docker镜像
使用阿里云管理Docker镜像
166 0
阿里云的管理部门神龙
阿里云的管理部门神龙自制脑图, 这是我学习阿里云的管理部门神龙整理的资料。 在云上,因为要给很多的企业提供服务,所以需要把技术人员(CPU)分成不同的小组,租给不同的客户,这些小组就像工厂里的小工厂,我们把这个过程叫“虚拟化”。这样一来原来只负责计算的技术人员,就不得不当起了管理人员。 有了虚拟化技术无数台计算机可以“组合”成一台超级计算机 而一台计算机也可被“切割”成无数小计算机。随意“组合”和“切割”的代价就是“虚拟化损耗“。 RDMA在专用领域是网络延迟和高性能代名词,目前市场上几乎没有企业能够大规模使用 RDMA,这一技术天生有缺陷。但是本代神龙架构攻克了该问题。
58 0
谐云与阿里云携手专注云原生,引领新IT上云管理
在2022云栖大会上,谐云荣获阿里云2022「Landing Zone生态合作伙伴授牌认证」。谐云继续与阿里云携手致力于做好数字经济的基础设施、深化客户服务,为企业客户提供上云、建云、用云、管云的全栈云原生产品和解决方案,助力客户拥抱云原生。
303 0
阿里云副总裁熊务真出席2022年中国进口博览会·中国国际经济管理技术高峰论坛:以科技创新助力绿色低碳发展
​11月8日,以“拥抱数字时代,共建零碳未来”为主题的2022年中国进口博览会·中国国际经济管理技术高峰论坛于上海国家会展中心成功举办。在论坛上,阿里云智能副总裁熊务真与大家分享阿里云在以科技创新助力绿色低碳发展方面的探索和实践。
176 0
TDengine x 阿里云计算巢:实现云上规模化、多渠道部署和管理
近年来,随着云技术的快速发展,企业上云成为一大趋势。中国信息通信研究院披露的数据显示,2021年中国云计算市场规模达到3102亿元,增速达48.4%,中国公有云市场将保持高速增长态势。不只是传统企业,在信息化时代,软件上云也有其必要性和重要性。
130 0
重磅联名 | 阿里云&百奥利盟构建云上精准医疗与创新生物药信息化管理平台
阿里云计算巢与为全球生命科学信息化解决方案服务商百奥利盟达成合作,百奥利盟®系统 + 计算巢强强优势联合,构建云上精准医疗与创新生物药信息化管理平台。
212 0
阿里云商标注册入口(查询/申请/交易/管理)
阿里云商标注册页面、商标自助申请系统、商标近似查询、商标交易、商标管理后台、商标续展等操作入口
2292 0
阿里云grafana VPC数据源通道管理
通过在Grafana服务中安装VPC数据源通道,可以使Grafana工作区访问到VPC内未开通公网访问的数据源。本文以Grafana访问VPC内自建的Prometheus数据源为例,介绍如何通过VPC数据源通道使Grafana服务可以访问VPC内的数据源。
93 0
阿里云grafana插件管理
Grafana服务支持一键安装Grafana插件,安装好的Grafana插件将会同步显示到Grafana的Plugins页面。本文介绍如何在Grafana服务中安装Grafana插件。
368 0
+关注
春泥入海
文章
问答
视频
相关电子书
更多
阿里云存储产品手册
立即下载
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
相关实验场景
更多