数据中心运维管理体系的数字化转型(演讲实录)

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:

数据中心是IT和互联网的核心基础,数据中心的运营质量和效率直接关系到许多政府部门和企业的核心竞争力,如何建好、管好数据中心,成为一个永恒的话题。在这方面,中国银行总行数据中心副总经理杨志国先生做了大量深入的探索,今天我们很高兴请到了杨总,他将为我们带来《数据中心运维管理体系的数字化转型》,掌声欢迎!

20180524023259487.JPG

中国银行总行数据中心副总裁杨志国

各位尊敬的领导、各位尊敬的朋友,上午好!可能也有新老朋友,我记得去年受范总的邀请,去年在北京讲了一门课。今天正好来的人特别多,我刚才看了一下名单,大部分都是一些企业、当地政府的,我一看以后唯一一家我是银行界的,包括保险、证券、银行的都没有。我今天刚刚下飞机赶过来,差点赶不过来,所以今天没有来得及换行头,IT人都是这样的一个情况。IT人比较自由、奔放、创新、开拓,是这么一种精神,所以我今天穿了T恤衫来跟大家讲讲我的一些体会。

特别是我们的范总,把CIO大会做得越来越多,参与的人越来越多,我认为这是一个好事,创新就要这样,发展也要这样,这是有意义的,我们要为此点赞。这个课件比较长,这是我去香港亚太峰会的时候,我给整个亚太地区做的一个分享。大家都讲到数据中心,包括联想、戴尔两位也是老朋友了,因为戴尔、联想一系列的产品在我们中国银行有很多使用价值,使我们得到很大的发展。

现在我们国家的数据中心风起云涌,各个数据中心都起来了。其实2017年底数据中心已经达到43万个,数据中心怎么运维、怎么安全可靠的运维,我在IT方面干了35年,积累了很多经验,给大家分享一下。大家知道,数据中心也有大与小的问题,我那天跟这些大型银行的IT大佬交流的时候,问他们的交易是多少,他们说每天交易量超过6亿笔左右。我们中国银行有多少呢?我们已经有8亿笔交易量,是超大的数据类型。这个交易量大的都在中国,比如说工行、建行等交易量是非常大的。现在各种经济活动比较频繁,我们还有各种股份制银行、商业银行等等,这些银行的数据中心的规模都是超大型的。所以我定了一个量,比如说招商银行的账户数达到16个亿,这是一个很大的海量的数据。

作为传统银行来讲是比较保守的,随着移动互联、大数据、互联网、云计算、物联网开拓出来以后,对于我们传统银行也是一个挑战,我们怎么进行发展。昨天同信在广州召开了大会,马化腾提出了要三张网,三网合一以后,我认为非常有道理,发展非常快。我看了一下今天在座的很多都是CIO、都是信息执行官,你怎么保证你的数据中心好好的活下来,并且活得很好。

怎么活得更好,我总结了18字方针,第一是安全、稳定、可靠是数据中心的基础条件,快速、有序、有效,出了问题以后怎么能在10分钟内解决,这是很关键的,它是有序、有效的。同时客户体验是很好的,不停机的,所以效率是高的,如果你的交易时长是300毫秒,别人的是100毫秒,肯定认为你的效率不好,效益也不好。这是18字方针,安全、稳定、可靠、快速、有序、有效、体验、效率、效益。

接下来我们讲数据怎么管理的问题,我们在探讨的时候,比如说这么多书,你怎么理解这些书?第一是制度管人,大家知道制度是死的、人是活的,往往我们制定了很多制度,他不按照制度去做,特别涉及到系统维护必须按规矩做的,这是有制度的。但是我们做一次变更,他不按时间做了,他违规了,肯定会造成后台的影响。我们是流程分责,流程都是相通的,不相通是管理不好的。第三是角色定位,我们现在进行角色定位,这个角色就干这个活。同时我们按标准做事,比如说我们在中国银行,我们有很多标准,把我们的监控标准也做起来,应急管理也做起来,有1800个,按照标准做事,加上我们的智能化工具去实现,所以形成了数据中心的一套管理理念。你把这18个字加上这5句话就能管好了,大家要记住这个诀窍。

这18个字和5句话是怎么来的,我们数据中心有这么多运维场景,这是必须要做的。我们的智能化也好、大数据也好,数据中心的基础运维必须要一步一步做。要分五个阶段做,第一个阶段是标准化、第二个阶段是流程化、第三个阶段是平台化、第四个阶段是自动化、第五个阶段是数字智能化运维,银行必须要按照这五个阶段做,没有标准化、流程化不能跳到自动化。有很多设备要维护,这是实体的场景,有很多终端要维护,有很多机房设备要维护,有很多网络性能要维护。这个维护我们说有很多模式,怎么做?如果你是一个数据中心、一个CIO管理者,他有很多服务模式要去完成,这个模式完成以后是保证你所有的是一体化的。没有任何一个单位是离开IT去独立运行的,现在所有都是无纸化,全都是网络运行的。

我们举个例子,服务请求是快速完成的,同时我们有一些日常的机房巡检,你是怎么做的,这些都有一些标准和要求,不管是监控、还是巡检、还是海外处理、还是国内处理等等,都有一些要求需要做。比如说监控,监控以后,我统计了一下,监控组件大概有35万多个,你怎么做到自动化。我们还有运行操作,大家知道银行每年都有审计报告出来,同时我们还有大量的生产活动变更,这个生产活动变更以后有很多种模式,我们中国的银行的变更情况有这么多,达到99.86%,这是很高的,国际惯例一般达到99%就不错了,我们中国的银行在这方面是做得很不错的。

大家知道银行是干什么的,像我们的工行、建行、农行,特别是中国银行,全球有30多个国家有中国银行的代理,必须要连到我们这边来,我们是一体化的管理系统,国内的分行也连到这里来。所以大量的日常管理工作是必须要做的,做不好所有系统都不能对外服务。大家想一想,无论是手机银行、还是网上银行、不管是AMT、还是手机支付,现在所有支付企业要进入到网联,以前都是要连到银行,不管是微信还是支付宝都要连到银行去,这是国家规定的。

我们做了一些日常处理,怎么处理呢?我们有这个图,这个自动化率有多高,我们要把自动化做好。比如说防病毒处理,这是我们的一个灾害,包括这次爆发的永恒之蓝,这些病毒要堵在银行的网络外,不能进入到我们的系统里面来,这是病毒。还有信息安全事件,特别是中国的经济发展非常快,现在黑客攻击的事件在全球中国排第二、美国排第一、南韩排第三,都是在攻击这些国家。如果我们没有很好的技术手段,很难对数据安全可靠的正常运维的。

这是异地灾备,异地数据中心都在做灾备。我老杨是反对搞存储异地数据中心和异地灾备中心的,为什么?投入太大,其他国家很少这样做,这是我们的中国特色,实际上我们的投入很大。灾难发生以后,我们要有多核中心进行备份,向多核中心发展,我们可以搞两个控制中心、五个物理中心。我这次去瑞士看了他的数据中心,是非常不错的。这是灾备。

我刚才讲的是我们现在银行在现在要做的一些工作,同时我们怎么做好上面运维的东西,在人方面我们就要思考了。我举个例子,我们的IT组件是35万个,如果每个人监控1个IT组件必须大概要35万人监控,这是不可能的。我们怎么实现智能化呢?数据中心怎么运维?估计在座的CIO也能看得懂,我们是要打造智能化监控管理平台,打造自动化配置管理平台。为什么?我举个例子,我们的智能化管理平台,按照以前打补丁系统升级,我大概是每个地方、每个省行都要派100人去升级,现在我通过一个软件只要一个小时全球35万个终端全部升级完,这就是自动化操作平台带来的一个好处。

打造了自动化平台以后,确实带来了一个运维的可靠性,我是怎么实现的呢?比如说我们通过控制软件,把我们底层的数据采集进行分级,知道我们的问题在哪个地方,这样可以保证自动化运维。我们全部都是自动化的,所有流程都是自动化的,而且全部都是流程化的。比如说把一个事件采集过来之后怎么进行分析,怎么进行定位,定位完之后怎么解决都有一套管理流程出来,这就是自动化管理平台。大家知道,没有自动化管理平台,大数据运维寸步难行。现在我们国家的数据中心一般还是靠人运维的比较多,靠自动化运维的还是比较少,这是我讲的一个实例。

我们要怎么管,数据中心要管起来有很多角色定位。我们有很多角色以后,才能把这个事件处理好,这些角色全都要靠我们的自动化管理流程把它串起来,形成一个有力的整体,把事件在可控的时间内进行处理。比如说日常的工作,我是怎么对服务请求进行处理的、怎么分配的,全都是自动管理流程。这套流程我认为适用于所有的数据中心的运维工作,怎么做我不太细讲,因为只有30分钟时间,本来这个PPT可以讲一个半小时左右,以后有机会我们再探讨。

这是我们的监控显示图,包括我们的基本性能、事件监控等,全都在一个图中展示出来,所有的情况都比较清楚。假如说我们有一个红色告警是怎么来的,告诉大家。我们进入高峰期以后,我们怎么创建告警清单都已经告诉大家了。这个我稍微走得快一点,因为后面有重要的部分要讲。这是交易量的情况图。处理完了,形成自动化,大家都知道这是自动创建、自动处理。我去美国的时候数据中心有一个报警,大概有30万平方米的数据中心,大概有100多家银行租赁他们的数据中心,高度的自动化。这是我们怎么处理一些具体的事件。

我们第一步是组件监控模式,第二步是流程运维模式,第三步是平台化运维模式,第四步是6智能数字化的模式,我们可以分成四步走。现在我们国家的数据中心大多停留在运维2.0,可能有一些组件监控、有一些半自动流程打通,但是到了3.0平台化是还没有的,都是靠人,我记得我当时做的时候都是靠人去做,现在我们都是自动化。我们怎么达到自动化运维4.0,我们有一些探讨和分析。

大家知道,现在我们传统的运维是存在很多问题的,特别是我们的规模大、各种根据不同意,不知道今天有没有做流程根据的人,我知道戴尔也做这些流程建设。混合架构特别是银行架构太多,非常复杂,有了手机银行以后,都跟我们后台的系统连接关系,手机银行有很多关系,有很多海量的节点,跨平台的比较多。我们的很多工具不统一,五花八门,有国产的、进口的、自己开发的。

我们有哪些痛点呢?第一个是多运维场景的挑战,同时所有场景得不到有效分析和定位,自动化操作也不是很高,还有一些典型的场景不太友好,不能快速迭代投产。现在银行投产一个项目要半年时间,现在半年时间根本不行,互联网公司的项目投产一般是10天左右就有一个项目出来了,银行比较安全稳定,怎么样快速的迭代投产也不行。同时人的效率比较低,突发性事件处理能力比较差。比如说“双11”,把我们的银行系统撑爆了。今天同信好像来人了,我对马云同志又爱又狠,爱他是对我们国家的科技创新做得很不错,值得表扬。但是给我们银行又带来了挑战,“双11”5秒钟时间交易量增加了10倍,假如说网上银行交易量一天达到10个亿,我要有大量资源支撑10亿交易量的并发。我们银行是核心系统处理的,大家知道是一条路,处理模式不一样,银行是一本账,我们银行要有零故障出现。

这些大量的事情发生之后,我们怎么做好运维?我经过摸索得出了“老杨级”的理论。我们要做到可知、可控、可信KCT,不管是科研也好、还是快速迭代要投产也好等全都控制起来,做到智能一体化。我比较了一下,怎么对应交付、观测、干预、安全做运维呢?大家看一下我怎么把这些问题解决好。观测我观测什么东西,安全是做什么东西,我们现在大量的靠人判断肯定是不行的,我能不能通过机器学习来分析故障点在哪些地方,这是我们银行解决运维的关键点。

大家知道,所有的交易是有一定规则的,规则破坏以后,我们通过机器学习判断问题所在,解决我们运维的痛点,快速定位、快速处理。并且我们现在叫智能运维,还可以用软件解决运维的问题,不需要人工干预。美国的数据中心智能运维达到65%,发现100个问题有65个问题通过智能运维解决。这是我们得出的一个观点,传统平台是怎么做的,我们的智能运维场景是怎么样的,我不太细讲,因为时间有限。

这个模型怎么去做,交付、观测、干预、安全有哪些东西实现它,这是我们的开始的简单建模。建了模型之后,我们就要打造数据中心智能化运维的体系建设。刚才大家可以看到我们有四台一库,现在有七台两库,我们怎么做运维的,这个逻辑我们根据国外的一些知名公司打造智能化的运维体系建设。大家知道,我们的调度平台已经有了,数据分析平台、智能监控平台、运维管理平台、安全管理平台等等,灾备达到秒级切换。这是我们的智能运维平台,云智能数字运维平台。这里每个地方我不太细讲,比如说工具的实现怎么做这里讲了。

这是云化平台怎么架构,刚才联想的云架构也有了,我们数据中心的云架构怎么做,运维平台怎么进行架构,这里不细讲了。我们在数据分析、数据采集,现在我们不叫IT组件采集,因为IT组件采集肯定不能做智能分析。这里我有一个统计。这是我们数据分析平台的模型,我认为这是很不错的,这个模型我们进行了实践,这个人是在美国待了很多年的资深工程师,他做的模型我认为非常有道理,我们正在实践。它是把所有的日志拿过来进行机器学习以后,判断你所有的问题所在,非常漂亮。确实他的脑袋非常好,这个机器学习模型是他设计出来的处理器。我们在座的同志,这个你们可以研究出来。今天在座的有很多厂商,这个研究出来之后,是不是解决我们的数据化关键所在。现在我们在座的厂商,你们可以去研究这个东西。

我们的大数据平台怎么做的呢,我们采集的数据要怎么去进行分析。最关键的核心,做数据运维没有一个CMDB信息库是不行的,我们建了一个CMDB信息库是非常关键的核心组件。这是我们信息库采集的实例,这是模型图,数据中心所有配置项都在里面有所体现,得出所有信息出来进行集合。我们的监控平台大概怎么做,这是一个实践场景图,比如说交易量达到多少、交易时间多少等等全部都实时分析出来,这样我们就可以掌握到,不用人去干预,所有情况都一目了然,具体情况都能知道。

我们做完了以后,我们应该有一个很好的业务可视图。大家都知道,银行所有系统都是有关联关系的,业务可视图是判断问题的一个很好的方式。我们是以服务客户为宗旨的。我们有运维管理协同平台,打通了所有的流程平台。同时我们还有一些运维的辅助工具,现在工程师不用在数据中心了,可以在云维护、可以在异地维护,大量的通过线上方式进行维护。现在所有的技术方案的审核、大量的性能分析,我都看得见,因为我们都有APP可以下载到手机上来进行远程处理。所以一个数据中心达到这样的情况以后,它就是高度智能化的东西。

当然了,我们的实施路径也有一些方式方法。这是我们有一家银行,我也不好说,今天我们在座的一家公司已经帮他做了云平台的智能架构。这是我们一家银行的云化平台的运维架构方案,我认为也做得很不错。大家知道AWS,这是我们国外的公司的智能化运维架构。大家可以拍下来,这是比较有借鉴意义的,大家去读一下。这是我们国内互联网公司的,不知道能不能看得出来,他们的智能化运维架构,BAT智能化运维还是不一样的,他们的架构也是跟我们不一样的东西。这是我们传统的,今天在座的华云公司的老总在,谁搞认知,就是传统IT公司,他们也是做得不错的,大家也可以学习。

我主要是探讨了智能数字化运维转型的问题,我们怎么转型。实际上有一个运营管理体系,我们要创造效益的时候,必须要把数据中心的管理做好,包括数据管理、人力管理等等,它有几个大的体系去做。做了之后是坚持安全生产为第一要务,打造数据中心特别是战略化运营管理体系。不知道今天讲完课以后,大家有没有启发,如果有启发大家拍个手掌。谢谢大家!


原文发布时间为:2018-05-24

本文来自云栖社区合作伙伴“企业网D1Net”,了解相关信息可以关注“企业网D1Net”。

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
2月前
|
存储 运维 安全
AIGC时代数据中心运维面临的挑战
AIGC时代数据中心运维面临的挑战
154 1
AIGC时代数据中心运维面临的挑战
|
15天前
|
机器学习/深度学习 运维 数据挖掘
智能化运维:利用机器学习优化数据中心
【6月更文挑战第28天】本文将探讨如何通过机器学习技术来优化数据中心的运维工作。我们将首先介绍机器学习的基本原理,然后详细讨论其在数据中心运维中的应用,包括故障预测、性能优化和自动化运维等。最后,我们将通过一个实际案例来展示机器学习在数据中心运维中的实际效果。
|
29天前
|
机器学习/深度学习 存储 人工智能
智能化运维:未来数据中心的守护者
【6月更文挑战第13天】随着技术的飞速发展,传统的运维模式已难以满足现代数据中心的需求。本文将探讨智能化运维的概念、优势以及如何通过AI和机器学习技术提升数据中心的管理效率和安全性。
|
1月前
|
机器学习/深度学习 运维 监控
智能化运维:未来数据中心的守护者
【6月更文挑战第11天】在数字化浪潮不断推进的今天,数据中心作为企业信息架构的核心,其稳定性和高效性对企业运营至关重要。本文将探讨智能化运维如何通过先进的技术手段,实现对数据中心的实时监控、自动化管理与故障预防,从而确保企业IT基础设施的高可用性和性能优化。
|
1月前
|
机器学习/深度学习 运维 监控
智能化运维:未来数据中心的守护者
【6月更文挑战第8天】本文探讨了智能化运维在现代数据中心的重要性与应用,分析了其如何通过自动化和机器学习技术提升效率、降低成本并增强系统的稳定性。文章将详细介绍智能化运维的关键组件,包括自动化工具、监控软件以及故障预测机制,并通过案例分析展示这些技术在实际环境中的应用效果。
25 5
|
1月前
|
机器学习/深度学习 运维 监控
智能化运维:未来数据中心的守护神
【6月更文挑战第11天】随着技术的不断进步,智能化运维正在成为数据中心不可或缺的力量。本文将探讨智能化运维的重要性、实现方式以及它如何改变数据中心的运作模式。
|
1月前
|
机器学习/深度学习 人工智能 运维
智能化运维:未来数据中心的守护者
【6月更文挑战第6天】本文探讨了智能化运维在数据中心管理中的关键作用,分析了其对提高效率、降低成本和增强系统可靠性的重要性。文章还介绍了智能化运维技术的最新发展,包括自动化工具、人工智能和机器学习的应用,并讨论了实施过程中的挑战与机遇。
|
2月前
|
存储 运维 监控
提升数据中心效率的关键策略:自动化运维流程
【4月更文挑战第20天】随着企业对数据处理和存储需求的不断增长,数据中心的效率成为了优化的焦点。在本文中,我们将探讨自动化在数据中心运维中的应用,并分析其如何显著提升操作效率、降低成本以及提高服务水平。通过案例研究和最佳实践的分享,读者将获得实施自动化运维流程的实用指南,以支持其在不断变化的技术环境中保持竞争力。
|
2月前
|
存储 机器学习/深度学习 运维
提升数据中心能效:现代运维策略与实践
【5月更文挑战第6天】 在数字化时代,数据中心作为信息处理的核心设施,其能源消耗和环境影响成为业界关注的焦点。本文将探讨如何通过现代运维策略和技术手段提升数据中心的能效,同时保证系统的可靠性和服务的连续性。文章将详细分析数据中心能耗的主要来源,介绍先进的能效优化措施,并通过案例分析展示这些措施的实际效果,为数据中心管理者提供实用的能效改进建议。
|
2月前
|
机器学习/深度学习 传感器 运维
提升数据中心效能:智能运维策略与实践
【4月更文挑战第6天】在数字化时代,数据中心作为企业信息架构的核心,其稳定性和效率直接影响到业务连续性和客户满意度。随着技术的进步,传统的数据中心运维模式已经不能满足现代高效、智能化的需求。本文将探讨如何通过智能运维(AIOps)策略,结合大数据分析和机器学习技术,实现数据中心的自动化管理、故障预测及快速响应,以提升整体效能并降低运营成本。

热门文章

最新文章