【杭州云栖】阿里云高级技术专家刘廷伟:全球CDN服务质量优化最佳实践-阿里云开发者社区

开发者社区> 阿里云边缘计算> 正文

【杭州云栖】阿里云高级技术专家刘廷伟:全球CDN服务质量优化最佳实践

简介: 阿里云CDN服务客户超过30万,拥有遍布6大洲、70多个国家地区的1500多个节点,带宽能力超过120T,是国内唯一获得Gartner评级Global的厂商。随着业务和节点带宽的增长,服务质量优化是一个值得探讨课题。

阿里云CDN服务客户超过30万,拥有遍布6大洲、70多个国家地区的1500多个节点,带宽能力超过120T,是国内唯一获得Gartner评级Global的厂商。随着业务和节点带宽的增长,服务质量优化是一个值得探讨课题。在杭州云栖大会-飞天技术汇CDN与边缘计算专场中,阿里云高级技术专家刘廷伟与现场观众一同交流了CDN服务质量优化的技术实践。

image

阿里云全球CDN发展历程

阿里云CDN是在2006年起源于淘宝自建CDN,从为淘宝提供图片、网页等小文件的加速服务,并逐步开始服务整个阿里集团内部业务。2014年3月,阿里云CDN正式对外商业化,从商业化之初,就非常关注产品标准化,提供了完善的控制台和API,用户可以与使用其他云资源一样,即买即用。

在此之后的几年内,阿里云CDN陆续发布了极速CDN6.0、PCDN、SCDN、DCDN等产品,在今年三月,被Gartner发布最新全球CDN服务市场指南《Market Guide for CDN Services》评级为Global,并在今年夏天,承担了70%的世界杯直播流量。

而伴随着业务和节点带宽的增长,服务质量的问题也会随之凸显。刘廷伟说:“当我们讨论服务质量优化的时候,需要从整个生态系统的角度来考虑,结合技术和行业背景,寻找所有可能优化的方向。当时就感觉像这种图,目标就在前方,但是怎么也走不出去。于是我们团队静下心来,决定彻底解决服务质量的问题。”

image

下图是一个简化的CDN逻辑架构图,从图中可以看出CDN是一套完备的生态系统。从用户访问的路径来看,这套生态系统的每个环节都有哪些子系统。首先是运营商的LDNS,然后是CDN的调度系统,通过这两个环节给用户分配一个最近的节点,这属于调度子系统。当用户访问到达边缘节点,从边缘节点上获取对应的直播、点播、下载、动态、实时音视频等内容,这是缓存系统在工作,再之后就是缓存节点之间、节点到用户、节点到源站之间的数据传输,这属于链路质量系统的工作。最后一个部分是配置、数据、监控相关的支撑系统。

image

刘廷伟老师重点围绕调度、链路质量和天眼监控展开分享,在短短半个小时之内将整个CDN生态系统中的服务质量优化实践做了非常生动精彩地讲解,现场观众纷纷表示受益颇多。

一.调度子系统优化

调度要解决的问题,就是将用户调度到离用户最近的健康节点。这其中,最关键的就是节点覆盖的能力,其次才是调度,另外一个就是流控。

节点覆盖

刘廷伟老师讲到:节点的覆盖并不是单纯的建设,选点和度量是非常关键的,它可以让节点更好的覆盖用户。阿里云从17年开始大规模进行海外节点的建设,300+海外节点,满足国内用户出海加速和海外用户加速的需求。

image

调度 - LDNS

公共LDNS或者用户LDNS配置错误等问题,会导致用户无法正确调度到最近的节点,导致服务质量下降。针对这个问题,对于APP端的应用,阿里云提供HTTPDNS的方式解决;对于网页等无法实现HTTPDNS的,通过302调度/纠偏解决。当用户请求到边缘节点后,如果由于LDNS问题没有调度到最近的节点,这时候节点会对大文件进行302纠偏,将用户调度到最近的节点。

“另外一个就是LDNS的画像,我们看到不同的LDNS在轮询、forward和TTL的处理上都是不同的,包括LDNS的前后端IP的比例也是不同的。我们不可能要求LDNS都按照我们的要求来吐出策略,但是我们可以按照LDNS的特点,调整我们的吐出策略。有人说既然302可以纠偏,那干嘛还有跟LDNS过不去啊,就让他随便调度吧,是不是?“刘廷伟认为:”答案一定是否定的,一次302调度对时间是一个RTT 20ms左右,不要小看这20ms,我们针对图片小文件服务质量优化的时候,都是按照1-2ms挖掘优化的。一个1K的图片,整个处理响应时间就是10-15ms左右,增加一个20ms,意味着性能下降一半,因为这个性能下降,我们客户的用户转化率下降10%,这是无法忍受的。”

流控

流控的自动化和智能化是云CDN和普通CDN的最大区别之一,1000多个节点,数十万机器,100T+的流量,怎么将流量均衡的调度到用户最优的节点,靠人是完不成的。何况整个阿里云CDN调度的运维同学只有2个人,这意味着阿里云CDN必须要高度的自动化和智能化,才能完成精准的流量调度。这块优化方案有两个,一个是离线规划,根据历史流量的趋势进行预测调度;一个是实时调度,针对突发业务特点进行流量规划。

image

那么怎么做离线和实时呢?我们把每个节点比喻成一个瓶子,调度流量是砂石。那么DNS流量特点就非常像大石头,而HTTPDNS和302流量就像是沙子,调度的力度可以到具体的问题。离线规划重点是大块的DNS流量,实时流控就是HTTPDNS和302流量,两者结合,保证每个节点水位均衡,每个用户也都调度到最优的节点。阿里云流控系统不仅很好的支持常态的CDN业务,也经受住了双11、春晚和世界杯活动类突发流量的考验。

二. 链路子系统优化

image

接下来刘廷伟老师带着现场观众走进了链路质量优化。链路子系统要解决的问题,就是在现有的网络链路上,如何高效的传输数据。

固定单向链路下的优化方案 - 协议栈优化

协议栈优化的目标是什么? 场景不同,优化的方向不同,要考虑成本、性能、公平性的均衡。在面向用户这段的链路,为了保证用户的服务质量,阿里云牺牲了部分成本,通过调整拥塞算法,丢包探测算法,将协议栈的性能提升了30%。
image

路由决策

刘廷伟老师生动的比喻:“如果说CDN的节点网络是高速公路,那么路由决策就是高德地图。为用户的每一个动态请求,决策从最近接入点到用户源站的最优路径。”

image

当打开高德地图,进行阿里中心到北京南站的高德路线规划的时候,我们可以发现:

第一,每个链路上每段路的拥堵程度也都标注了,这就相当于网络质量实时探测。
第二,高德为我们规划了3条路。这就相当于选路,CDN也会给出源站内容到用户之间最短的3条路径做选择。
第三,高德地图给出来高速优先、躲避拥堵等选项,还有我们特色的限号区域。这就相当于链路亲和性,比如源站在铁通,CDN就可以接铁通。

四、天眼系统

image

天眼系统的目标就是第一时间发现和诊断质量问题,并将处理经验自动化。主要包括两块,第一时间发现问题 - 监控,和发现后的处理经验自动化 - 告警处理。

监控

监控的核心就是数据源。谈到数据源,大家首先想到的就是业务日志,这些业务带宽、QPS、命中率等数据,这个是这个域名的请求处理时间数据。这些数据可以进行基本的业务监控。
如果这时候某个地区运营商服务质量下降,业务正常,只是下载速度慢了。通过这种数据就没法进行判断了。需要网络层面的度量数据。

image

网络数据包括丢包率、RTT、建连时间、平均请求大小等数据都是在内核层面进行采集。这些可以对下载类的业务进行基础的判断。如果直播的客户卡顿,监控如何发现是哪里的原因呢?这就需要全链路监控,阿里云实现了直播全链路全域的数据监控体系。

告警处理

有了数据之后,大家都知道根据数据添加告警就可以了,是不是这样告警就结束了呢?
随着业务发展,针对各种各样的数据源来配置告警,导致告警越来越多,告警泛滥,根本无法有效处理,所以第一个要解决的问题就是告警的准确性和收敛。

如何进行告警收敛?

1、根据业务特点和告警时的异常事件进行关联和合并,降低重复报警
2、告警处理工单化,同时对工单进行跟踪处理和统计
3、告警分级,这个非常关键。不同级别的工单不同的通知方式、通知访问和响应时间要求。比如高优先级的告警,必须保证及时性、准确性响应时间;对于底优先级的告警,更多关注告警后续的跟踪和处理率。

虽然进行了告警收敛,但是还是会发现依靠人来处理还是有滞后,需要具备自动化的能力。自动化能力其实就是人工处理经验的机械化,将问题出现后排查的方式、数据和手段机械化,将问题修复的操作程序化。

比如针对直播业务,对于卡顿非常敏感,对于处理时间的响应要求也非常高。于是就将卡顿排除的手段和处理程序化,当有问题出现的时候,直接告警通知问题发生了、问题发生的原因是什么、这个问题的原因应该执行的修复策略是什么。

一个是自动化处理陷阱,不要天真的以为所有的事情都可以自动化,很多时候简单的自动化会给系统埋下巨大的坑。比如节点故障的隔离,如果1500个节点,有1000个节点监测出问题了,怎么办?自动化处理下线修复?那剩下的500个节点就被流量打爆了。一定要给自动化安个熔断器,做到可控的自动化。
一个是自动化穷举的问题,你不可能所有的自动化都是人工经验的简单重复,需要让自动化去自学习,通过机器学习的能力,利用告警异常数据,自己成长出未知问题的处理能力。

五、客户案例

除了分享纯粹的技术干货,刘廷伟老师现场也介绍了几个具体的客户案例,让观众更有体感。

第一个案例是亚洲航空,阿里云为亚航提供全球全站加速解决方案,针对动态数据进行路由优化及隧道服务,响应速度提升150%。

第二个案例是印尼本土电商Tokopedia, 印尼最大的C2C的网络销售平台, 阿里云为Tokopedia提供全链路HTTPS安全加速解决方案,在保障安全支付的同时,提升100%以上的加速效果,同时发挥云CDN弹性扩容的优势,在多次促销活动轻松应对数十倍的活动突发。

第三案例是今日头条,国内移动互联网领域成长最快的产品,旗下有今日头条、抖音、火山等深受用户喜爱的产品,头条技术团队的能力也是国内领先的,阿里云CDN跟头条团队一起,建立了端到端的短视频质量监控体系,整个优化数据做到卡顿率、中断率和失败率总体低于1%。

最后一个客户案例是虎牙,作为国内领先的互动式直播平台,阿里云CDN和虎牙一起实现了端到端的直播全链路监控,可以实时监控和定位直播卡顿问题和原因,保证虎牙直播业务的流畅体验。

在分享的最后,刘廷伟老师说到:“虽然我们在服务质量上做了很大的工作,但是还有很长的路要走,我们欢迎各位专家加入我们,一起做全球最好的CDN!”

image

点击了解CDN与视频云产品家族与优惠活动

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:

分享边缘计算行业知识与阿里云边缘计算的行业应用

官方博客
官网链接