云原生时代下,企业的IT运维面临架构复杂化、业务需求多样化和运维数据海量化等挑战,如何能够实现精准告警、异常智能诊断、根因定位、异常预测和异常自动修复,已成为企业数字化转型的急迫需求。
9月26日,阿里巴巴高级技术专家滕圣波在《GOPS全球运维大会》上发表了题为《云上服务器无人值守与自助服务实战》的主题演讲,分享了阿里云弹性计算团队如何利用人工智能技术赋能运维自动化,实现云上服务器无人值守,帮助用户降低云服务器实例管理的复杂性,来保障实例服务的稳定和高效运行。本文根据滕圣波的演讲整理。
图:阿里巴巴高级技术专家滕圣波
本文内容架构:
1、云上服务器为什么需要无人值守?
2、阿里云无人值守的自服务实战
3、无人值守背后的数据和AI
1、云上服务器为什么需要无人值守?
运维是一种服务,既包含基础设施软件服务、也包含人力服务,服务的对象是企业中使用基础设施的业务团队,而云计算IaaS是一种运维服务,服务的对象已发展为使用云服务的开发人员和运维团队。随着云计算的广泛落地,大部分企业已经上云,当前就有100万多家用户的业务运行在阿里云平台上,阿里云平台服务的用户也越来越多。
随着平台用户规模的扩大,我们发现平台用户在ECS实例运维时普遍面临三个痛点:
(1)背景沟通成本高,为什么我的实例出问题了?
(2)人工处理需要较长的时间,为什么这个问题这么久还没有解决?
(3)客户操作不透明,问题看起来修复了,可是刚刚你做了什么?
为此,我们需要重人力投入在客服人员上让用户的问题得以高效解决。为了避免用户规模扩大带来的客户侧运维成本的线性上升,我们开始利用人工智能技术赋能用户运维管理。在无人零售、无人驾驶成为趋势的时候,我们认为未来云上服务器也将实现无人值守。
事实上,阿里云弹性计算产品推出十年了,沉淀了众多ECS实例运维管理经验和异常“行为”规律。所以依托机器学习的数据驱动,我们通过异常“行为”数据的分析,构建了一套云上服务器的无人值守架构,并推出了一系列自助服务,实现了ECS实例的自诊断、自修复、自优化、自运维,帮助用户降低ECS实例管理的复杂性,从而来保障实例服务的稳定和高效运行。
2、无人值守的自服务实战
云计算IaaS的运维工作可以拆分为服务侧运维和客户侧运维,服务侧运维是云平台的运维工作,通常对用户不可见的,主要涉及基础设施、基础产品和上层管控三个层面,包括机房、物理设备的运维工作、资源虚拟化、资源调度、热迁移等工作。随着用户规模的扩大,这些运维工作会越来越复杂。而用户侧运维工作,是对用户自己可见的,主要是用户对ECS实例的修改操作和自动化工作,包括扩容、重启、监控、客服服务、工单反应、资源编排和运维编排等。
我们构建的云上服务器的无人值守架构,为阿里云平台用户提供了一系列的自助服务。广义上看,阿里云的自助服务囊括了ECS实例本身、实例生命周期管理、系统管理和自动化、市场和生态四个维度,如下图。
图:广义上的自助服务
狭义上来说,阿里云自助服务为用户实现了ECS实例的诊断、修复和推荐的功能。当天,阿里云自助服务已提供实例诊断工具、实例优化推荐、自动修复工具、最佳模板推荐和ECS事件自动化等一系列自助服务工具, 覆盖了80% ECS常见问题,将问题解决的平均周期从几小时缩短至分钟级,整个过程无需客服人工参与,无隐私泄漏风险,做到了云上服务器的无人值守。未来随着AI+数据的不断驱动,ECS实例的诊断和修复将会越来越精准。
ECS实例的智能诊断
根据平台的数据统计,用户在使用ECS实例时主要面临四大类问题:
(1)实例无法远程访问
(2)实例无法启动/停止
(3)实例性能异常
(4)磁盘扩容未生效
所以,在智能诊断的能力上,我们覆盖了ECS系统服务、磁盘健康服务、网络健康服务和Guest OS系统配置等维度,用户一键即可完成实例的智能健康诊断。
ECS实例的自动化修复
在智能诊断完成后,我们还会为用户提供ECS实例自动化修复方案,在前者定位问题所在之后,自动化修复能够在1-3分钟内解决问题,主要完成ECS系统服务修复、网络问题修复和磁盘修复。
仅仅实现自动化修复是不够的,我们认为自动化修复还应该是透明合规的。我们通过运维编排服务OOS提供自动化引擎,通过云助手命令提供GuestOS内的执行能力,运维编排服务OOS+云助手命令共同帮助用户完成自动化修复;同时,我们开源了运维编排服务OOS+云助手命令的代码,做到一切修复逻辑对用户可见;一切修复操作还可以通过ECS实例的镜像、快照和数据备份实现回滚;通过阿里云RAM角色控制实现一切权限可控,通过阿里云操作审计ActionTrail实现一切记录可审计,做到了真正的透明合规。
3、无人值守背后的AI与数据能力
让我们实现智能诊断和自动化修复的,是冰山下强大的技术支撑——AI+数据。依托底层的数据中台,我们完成了包括物理机数据、虚拟化数据、网络数据、控制面数据和GuestOS内数据等数据的采集、清洗、分析和模型的构建;加上AI算法的不断调优,我们搭建了用户画像、决策树、预测和推荐模型等,从而保证异常诊断和自动修复越加的精准和高效。
当前,在整体的ECS自助服务架构中,主要依靠管控监控中心实时监测日志服务、中间件监控、API请求监控以及控制台监控和自助诊断的数据,通过机器学习引擎实现问题预警和处理,进而驱动运维编排服务OOS实现自动化修复问题。
通过这套AI驱动的自服务架构,当前阿里云ECS实时内存异常感知准确率在70%以上,实施预测链路延时则控制在100s以内;另外融合专家经验、案例库和知识库,我们构建了一个强大的诊断决策树,为加快问题的定位和修复提供了强有力的依据。
近两年,阿里云弹性计算团队持续不断地投入构建异常行为数据集,未来计划将其演进成为阿里巴巴集团在异常预测上的“ImageNet 数据集”并进行开源,希望能为异常预测在业内的发展贡献更大的价值。
关注百晓生,笑谈云计算