阿里云DNS统一运维服务的演进和实践

简介: 阿里云DNS统一运维服务的演进和实践

首图-图标.png

【推荐阅读】:阿里云DNS统一运维服务的演进和实践


作者:张明凯(仁奇)

宋林健(林漱)

 

互联网域名系统(DNS)是互联网运行中起到关键作用的基础设施,提供了服务名称(域名)和IP地址两种标识符体系之间的衔接转换。绝大多数互联网应用,如在线支付、视频会议、电子邮件等,均需依赖域名系统实现网络资源的寻址及定位,是互联网业务访问的入口。(更多请参考:阿里云DNS  

2021年10月4日某社交网站出现大规模宕机,全球超过8千万用户受影响超过6个小时,其中宕机的主要原因是DNS的服务故障。可见域名系统稳定性在整个互联网安全稳定体系中起着至关重要的作用,域名解析服务的安全平稳运行是互联网互联互通数字经济安全稳定运转的基础

 

当前,阿里云提供了全系列一站式的域名解析服务产品,覆盖了公网域名解析、内网域名解析、全球流量调度、移动解析以及专有云的域名解析场景。在云上部署业务的阿里云用户,其运维的核心要素就是DNS解析服务,一旦DNS解析服务出现波动,将会导致自身业务受到影响。特别是游戏和金融行业的企业,对解析服务质量有着极高要求。

 

一言以蔽之:云上DNS解析服务十几毫秒的服务延迟波动都会直接影响其上的业务服务和用户体验。作为日均万亿访问量的阿里云DNS,如何保障大规模的DNS解析服务高效运维和高可用?本文将会讲述阿里云DNS团队在此领域的思考及实践。

 

 

01 从“黑屏”到“白屏”的初心

 

为了保证业务稳定性建设,阿里巴巴集团提出了“1-5-10”的目标,即1分钟发现5分钟定位10分钟解决。目标有了,实现起来却有一定的难度。

 

DNS服务本身有其管理上的特殊性。当前集团大部分业务运行于容器服务上,通过标准调度系统实现生命周期的管理。但“解析服务器”因其高性能的运行要求,仍运行在物理服务器上,日常积累的碎片化变更和一些修复措施,一旦发生服务器迁移和变更极有可能导致服务出现问题,因此需要一套完善的平台去管理服务器状态,实现可控、可运维。只有标准化的服务配置,才能实现安全可靠的自动化流程管理。

 

1.jpg

 

为了保障上层服务满足稳定性的目标,DNS系统作为底层基础设施的重要部分,必须满足更高的稳定性要求。在解析服务方面除了要做到高可用的架构设计和部署外,还需对服务异常实现秒级定位和恢复。传统运维手段已无法满足我们当前对于稳定性的诉求,因此需要一整套完善的运维流程和平台去收敛运维操作将运维从传统的黑屏逐步切换到白屏从脚本运维转换为自动化甚至智能化运维

 

 

02 DNS运维平台的发展与演进

 

阿里云DNS团队,当前主要负责权威云解析、阿里云用户递归解析、互联网公共递归解析以及集团内解析等服务。

 

随着用户规模和服务数量的持续增加,当前业务平台的日均解析量已超两万亿,业务平台除高性能解析系统、数据管控系统外,还有统一运维平台共三部分组成。今天,我们分享的是“统一运维平台的相关内容”,包括在运维平台稳定性建设方面的一些思考,并结合云服务的一些特殊性,让大家能够更深入地了解当前阿里云DNS团队在此领域遇到的问题及相关实践。

 

2.jpg

 

回顾整个阿里云DNS运维平台的建设历程,可以分为三个阶段:标准化建设阶段、自动化建设阶段、智能化建设阶段。三个阶段并非完全的先后顺序,而是交织在一起,不断推动整个平台的持续演进。

 

3.jpg

 

 

标准化建设阶段

运维系统标准化建设阶段,主要聚焦于资产数据管理,服务管理与基线管理标准化三部分,目的是解决线上数据不一致配置不一致和服务管理流程分散的问题

 

●  资产数据管理,不仅包括服务器信息、系统配置信息、网络信息,还包含相关业务运行配置信息。这些数据信息不仅可以作为日常运维使用,还可被集成到后期的自动化系统中,作为服务部署和管理的信息输入。

 

●  服务管理,不同的系统配置,自动化系统会执行不同的部署流程,软件部署不一致,对应的后期服务管理流程也会发生变化。

 

●  基线管理,用于解决碎片化部署问题,统一的服务运行基线可以大幅降低线上运行的风险,服务上线过程中及日常运行都会实时监测服务运行基线,异常配置都会上报给告警系统,形成风险记录。

 

 

自动化建设阶段

阿里云DNS运维平台在自动化流程建设阶段,也吸取了很多内部系统建设的经验,集成了SOPStandard operating procedure管理自动化任务编排及流程管理等功能 

 

通过定义标准SOP,将日常处理流程收敛到运维平台集中管理,小到一个服务的重启流程,大到一个机房的部署流程,都囊括其中。对于其中的可自动化流程,通过“集成任务编排和流程执行模块”实现任务的批量执行,降低人为操作带来的变更风险,同时还能和标准化建设阶段实现的基线管理系统联动,实现变更的异常检查和上报。此外,自动化建设提供的框架能力,还集成了任务审批和日志审计功能,可实现任务流程管理的安全可控。

 

 

智能化建设阶段

当前,运维平台正处于从自动化向智能化转型阶段,服务的稳定性不再局限于运维操作的自动化,而是通过集成一系列输入实现线上风险预判和自动处置。这也是为了解决稳定性1-5-10和满足云用户服务稳定性的要求。

 

如果一个故障需要人工接入,那么从告警产生到接收再到实际处置,一般需要5分钟甚至更长时间,因此智能运维是当前发展阶段必须落地的一个手段。在建设阶段,我们深刻感受到:智能运维是一场服务稳定性与安全性之间的博弈如果无法保证智能运维的准确性那将带来更大的风险2021年10月某社交网站的大范围离线故障,就是自动化操作所导致的服务故障)。因此智能化建设落地,我们通过从单一场景着手,逐步推广到其他流程之中,同时在设计阶段也会有限考虑如何做好服务的兜底,每种场景一般会加入至少两层兜底策略,让服务能够可靠稳定运行。

 

 

03 DNS运维平台的典型应用及成果

 

夯机治理功能是阿里云DNS运维平台在智能化运维建设上的典型案例

 

稳定性问题的一个典型情况是“夯机”(Server Hang)。与死机或宕机不同,服务器夯机是指部分服务可用,部分不可用。对DNS服务来说夯机危害比宕机对稳定性威胁更大,因为在DNS服务部署模式上DNS服务器既要发布路由(支持BGP+ECMP集群)又要做DNS解析服务。往往DNS解析服务和管控接口不可用,但路由服务正常,集群不会自动摘除这台服务器做流量迁移。在DNS服务器夯机场景下,大量的查询流量访问夯机的服务器就会造成严重的服务不可用现象,而该服务器也无法直接登录执行运维隔离操作。整个夯机故障从定位、处置到恢复时间太长,会导致用户的业务严重受损。

 

4.jpg

 

为了减少夯机对用户业务的影响,实现无人工干预下夯机故障自动隔离的目标,运维平台集成了一整套的处置流程来解决该问题:通过自动化的监测,发现、定位以及处置,实现无人工干预下的故障自动隔离。系统自上线以来,实现线上夯机场景的100%覆盖率,自动完成异常检查,正确处置夯机事件多次。通过平台的自动处置,大幅降低人工排查成本,同时还将故障隔离时间降低,真正做到用户服务的无感知处置。

 

5.jpg

 

 

04 结语

 

“欲流之远者,必浚其泉源。”运维平台的建设,是一个持续优化的过程,也是一个经验积累的过程。平台建设的关键是逐步收敛用户的操作,并做好流程的标准化。标准化的环境+严格的服务管理才能实现整体的稳定运行。同时,自动化和智能化的运维在降本提效方面的成效,也促使团队不断探索、覆盖更多的业务场景,让阿里云的DNS解析服务变得更稳定、可靠。

 

当下,DNS运维平台的运维架构和模式,正在逐步探索商业化的输出模式,未来,期望能将DNS运维平台和阿里高性能解析管控服务一起输出给用户,为客户提供和云上一样的服务体验和运行质量保证。

 


我们是阿里巴巴云计算和大数据技术幕后的核心技术输出者。

欢迎关注 “阿里云基础设施”同名微信微博知乎

获取关于我们的更多信息~ 

相关文章
|
23天前
|
数据采集 运维 数据可视化
AR 运维系统与 MES、EMA、IoT 系统的融合架构与实践
AR运维系统融合IoT、EMA、MES数据,构建“感知-分析-决策-执行”闭环。通过AR终端实现设备数据可视化,实时呈现温度、工单等信息,提升运维效率与生产可靠性。(238字)
|
2月前
|
存储 运维 安全
运维知识沉淀工具深度解析:从结构设计到落地实践全拆解
运维知识沉淀工具助力团队将零散经验结构化存储,实现问题处理路径标准化、知识复用化。通过标签、模板与自动化调取机制,让每次处理都留下可复用资产,提升团队协同效率与系统稳定性。
|
3月前
|
运维 算法 机器人
阿里云AnalyticDB具身智能方案:破解机器人仿真数据、算力与运维之困
本文将介绍阿里云瑶池旗下的云原生数据仓库AnalyticDB MySQL推出的全托管云上仿真解决方案,方案采用云原生架构,为开发者提供从开发环境、仿真计算到数据管理的全链路支持。
|
1月前
|
存储 域名解析 弹性计算
阿里云上云流程参考:云服务器+域名+备案+域名解析绑定,全流程图文详解
对于初次通过阿里云完成上云的企业和个人用户来说,很多用户不仅是需要选购云服务器,同时还需要注册域名以及完成备案和域名的解析相关流程,从而实现网站的上线。本文将以上云操作流程为核心,结合阿里云的活动政策与用户系统梳理云服务器选购、域名注册、备案申请及域名绑定四大关键环节,以供用户完成线上业务部署做出参考。
|
1月前
|
机器学习/深度学习 人工智能 运维
三重Reward驱动的运维智能体进化:多智能体、上下文工程与强化学习的融合实践
这篇文章系统性地阐述了 AI 原生时代下,面向技术风险领域的智能体系统(DeRisk)的架构设计、核心理念、关键技术演进路径与实践落地案例。
三重Reward驱动的运维智能体进化:多智能体、上下文工程与强化学习的融合实践
|
7月前
|
存储 缓存 网络协议
阿里云特惠云服务器99元与199元配置与性能和适用场景解析:高性价比之选
2025年,阿里云长效特惠活动继续推出两款极具吸引力的特惠云服务器套餐:99元1年的经济型e实例2核2G云服务器和199元1年的通用算力型u1实例2核4G云服务器。这两款云服务器不仅价格亲民,而且性能稳定可靠,为入门级用户和普通企业级用户提供了理想的选择。本文将对这两款云服务器进行深度剖析,包括配置介绍、实例规格、使用场景、性能表现以及购买策略等方面,帮助用户更好地了解这两款云服务器,以供参考和选择。
|
3月前
|
运维 监控 负载均衡
高效运维实践:常见问题的应对策略与实践经验
本文探讨了运维工作中的五大核心挑战及应对策略,涵盖负载均衡优化、数据库性能提升、系统监控预警、容器化与微服务运维等方面,旨在帮助企业提升系统稳定性与运维效率。
|
3月前
|
运维 监控 安全
从实践到自动化:现代运维管理的转型与挑战
本文探讨了现代运维管理从传统人工模式向自动化转型的必要性与路径,分析了传统运维的痛点,如效率低、响应慢、依赖经验等问题,并介绍了自动化运维在提升效率、降低成本、增强系统稳定性与安全性方面的优势。结合技术工具与实践案例,文章展示了企业如何通过自动化实现运维升级,推动数字化转型,提升业务竞争力。
|
5月前
|
运维 监控 算法
阿里云 OS 控制台:让基础设施运维不再难
涵盖智能异常检测、智能根因分析、智能修复建议的全链路运维解决方案

相关产品

  • 云解析DNS
  • 推荐镜像

    更多
  • DNS