黎明带领团队自主研发了全栈DevOps运维管理平台—EasyOps，是目前行业领先的智能化运维管理平台。作为前腾讯运维研发负责人，黎明主导了多个运维系统研发舆情监控、大数据监控平台、CMDB、实时日志分析平台、织云、客户端体验监控等。

本文内容有三点：

1、微服务架构特点及其传统巨石架构的差异，以及传统运维工具面临的挑战；

2、面向微服务的运维平台架构；

3、运维平台微服务进化。

一、 微服务架构与巨石架构的差异

“微服务”与“巨石架构”两者并非对立，而是分别针对不同场景的解决方案。

巨石架构指将所有“大脑”集中在一起，以CS架构为代表，将所有的逻辑放在唯一应用中，再加入前端UI组件、Service、MVC架构、数据库等部分。它的技术架构不复杂，调试、部署、管理方便，是适用于绝大部分系统的解决方案。

但是在互联网要求“多、快、好、省”的应用场景下，“巨石架构”面临诸多挑战。

多：互联网用户量巨大，达百万级在线量；

快：服务请求反应速度要在一秒以内甚至更快；

好：服务质量稳定性要高；

省：硬件成本增涨要低于用户量增涨速度。

△ 巨石架构

   如何解决这四个问题——增强整个平台的灵活性。 

△ 系统的扩展

平台扩展能力

1.平行扩展：一般的无状态服务器可以通过服务器扩容完成平行扩展；

2.分区：对于有状态的服务可以通过分区增强平台灵活性，如：南北方用户分属A、B不同集群。 

平台上的扩展“巨石架构”可以适应，但是功能上的扩展却比较难适应。

功能扩展能力

功能维度上，如何使系统变得更融洽？

1.灵活控制成本：局部调整，变更模块、逻辑，而不是整个系统去修改。

巨石架构的所有模块都捆绑在一起，进行扩展时，由于每个模块巨大，只能高成本平行整体扩容。

微服务架构下模块产品的服务器分布非常灵活，扩容成本低，现在都会选择将服务器模块切分，进行微服务化改造，提升平台支撑能力。

二、微服务架构下如何构建一个运维管理平台

上文讲述了微服务架构与巨石架构的差异，接下来了解如何构建一个运维管理平台。

运维平台管理最重要的是应用。对于应用运维来说，系统的前端所接入的官网、中间的逻辑服务，后端的存储、缓存，分属于不同的运维。

把运维平台拆分成三块具体化部件对应到工作中。

运维平台的内部应用、内部依赖是什么？——程序、配置文件、计算的资源

是什么支撑运维平台作为一个互联网应用？——内存、CPU

运维平台依赖的资源有哪些？——系统镜像

这是CMDB IT资源管理系统要承载的，在自动化扩容、环境部署时，只有了解这些数据，上层系统才知道如何构建这个应用。很多运维团队，仅仅做到“工具化”，却没有跟“资源管理配置”联动起来。

资源有效管理之后，是研发、运维这类的动作管理。如：版本更新，迁移服务、搭建测试环境等标准化的动作。

在拥有资源和动作，达成自动化运维的闭环后。运维人员只需事前维护好准确的资源配置数据（CMDB），余下动作系统会自驱完成。如果把资源跟动作相混杂，每次运用都需要耗费资源定制专用的发布脚本、构建脚本。

除了资源跟动作管理，还有状态（监控）管理。每个公司都会有“监控”系统。这里需要强调的是意识的问题，因为在整个上层、应用层监控设计中考虑了“自动容灾切换”能力，所以我们不需要关注底层的监控。只要应用层没有告警，不用管底层服务器和机房是否挂掉。

我刚参加工作时，系统经常告警，需要半夜爬起来重启机器、删文件。现在运维只会接到通知，告知服务器挂掉，进行确认，不用实时处理。基于这个逻辑，在业务没有告警的情况下，我们系统就是正常的。

完善的运维管理平台能够合理的把资源、动作、状态协调管理。

这张图将上面那张简单的图做了扩展、细分。

最上面是面向运维，包含运维、研发者的服务目录和日常任务中心、状态中心的统一运维门户。

下面是调度编排系统，产品扩展根据不同行业及其业务特性，做出不同编排需求，将这些不同的需求选项进行固化。

中间是运维平台的核心，执行层的系统。忽略灰色的传统API模块，现在我们运维日常使用的就是这个包括持续交付平台、统一监控平台和ITOA运营分析平台在内的立体化监控系统，通过它实现动作、状态管理。针对基础设施、平台系统、应用级、服务级甚至更高层的需求，提供精确度、优先级不同的接口。

底层是CMDB资源管理。传统CMDB管理对象，属于硬件资产。在云化技术发展之后，会越来越弱化。应用运维就不需要关注太多。这里CMDB包含了业务信息管理、应用程序包、配置、定时调度任务、流程、工具、权限、系统配置等基础资源。

三、运维平台的微服务进化

伴随着公司业务的发展，如何将正在应用的系统进行架构上的优化或者规划？

1.技术选型

首先，微服务跟基础架构的区别在于，微服务的组件拆分后是通过网络传输的。因此通讯标准要做出合理的选型。

微服务的架构，通常是异构架构。比如我们的平台运用了Python、JAVA、PHP等语言，必须选择同时兼容多种语言的协议。就像我们之前选用protobuf时，发现Python自带的库兼容Linux系统不成熟。在不同场景下，微服务的技术选型需要有较强的兼容性。

其次是语言的选择。微服务强调接口的稳定性，在保证服务稳定的情况下，可以自由选择熟悉的语言。

2.微服务的规划

单一职责原则：每个服务应该负责该功能的一个单独的部分。

明确发布接口：每个服务都会发布定义明确的接口，而且保持不变，消费者只关心接口而对于被消费的服务没有任何运行依赖；

独立部署、升级、扩展和替换：每个服务都可以单独部署及重新部署而不影响整个系统，这使得服务很容易升级与扩展。

3. 平台构建

通过下面的两个模块来讲解平台的架构。

1） CMDB系统怎样做简单的分拆，使之更容易维护？

CMDB是一个有大量配置系统存在的可以进行查询、修改的数据库管理系统，它的内部包含模型管理，配置管理、自动发现。

A）模型管理

CMDB中，我们会管理大量随着产品技术站演进动态变化的资源和相异的动作，所以要独立出模型管理的模块，保证CMDB动态可调整。

B）配置管理

由于CMDB的信息敏感度高，很多公司要求，将敏感业务信息，特别是应用和IP这类关联关系的信息保存在里面。

C）自动发现

如果CMDB没有完善的自动发现机制，它失败的概率会非常高。就像传统CMDB有一个在严谨的审批机制运行下的配置变更流程。但是即使在配置跟现网一致的情况下，还是需要每半年进行一次资产盘整，对信息进行纠正。对于有海量业务的系统来说，没有“自动发现”能力的CMDB是不合格的

通过“自动发现”，去自动化采集服务器带宽、网卡速度、内存、磁盘空间、进程等信息，由CMDB进行管理。模块管理相对传统，“自动发现”是CMDB的核心，在同时管理数十万台服务器时，只能通过“自动发现”的探侦才能进行自动化维护。

2） 持续部署系统

持续部署系统负责自动化发布。上图将持续部署系统的平台构建分为多个子模块。

A） 构建管理

构建即以静态图片、业务程序、配置文件等为主的部署对象。根据DevOps中的原则，需要将一切版本化。所以需要一个构建库负责管理所有发布到生产环境的资源。

通过统一的构建库，对所有发布到线网上的数据进行标准化管理，以此可以快速在其他机房重建原系统等。同时它还拥有信息共享功能，过去运维发包之后跟踪困难，现在研发人员只需向构建库输入版本信息，运维从构建库中导出就好了。

B） 任务管理

任务库负责存储日常发布任务，满足自动化发布需求。曾经由于很多研发人员贪图方便，选择在现网直接更改系统，记录信息错乱变更很不利于任务管理的日常下发。

常常是错误的，所以我们并不使用“任务下发完成之后，系统设置自动更新”这种设计。在无法信任上层管理系统的情况下，现网信息、数据必须实时扫描上报。

为了保证信息的发布成功，必须以Agent上报的信息为准。因为配置信息存在大量变更入口，在无法保证唯一入口的情况下，不能想当然的设计系统。

命令通道与数据通道是除了构建库、任务库、实例库之外的上层系统的基本构成。首先命令通道与数据通道需要分开管理。腾讯曾经需要将1G的文件发送到两千台服务器，频率达到一周一次，一次一周，不断重试、失败。后来将命令与数据切开，每次只传输几十K的命令脚本，服务器再也没有阻塞。

开源方案部分问题依旧无法解决，像现在的异构网络，在混合云的场景下，必须保证网络互通，才能做到直连。大家可以选择自己去编写Agent练手，通过反向通道连接中心管理服务器去解决此问题。

微服务架构下平台架构的底层基础服务   

1.名字服务

名字服务指通过配置文件中匹配的名字查IP端口的服务，可以选择合适的开源方案。如果自研的话，可以对服务进行灵活分区等。如深圳的服务器A访问在深圳、上海两地均部署服务的B，我们只需要在，名字服务中与CMDB打通，使用深圳的服务器访问深圳的IP，达到同城访问的效果。这个操作在开源方案中就无法完美实现。

2. 状态监控

要求能达到接口即调用数据采集的应用层监控。

通过访问量、成功率、平均时延这三个核心指标，低成本把握绝大部分需求。以访问量为例，当访问失败率上升告警时，直接触发名字服务联动，将故障节点自动摘除。

3.负载均衡

当系统规模扩大，节点剧增时，增加中间代理的方法会增加系统内部压力。

如果落地到Agent，通过名字服务查询IP列表，合并状态信息，均衡节点请求，可以更好的达到负载均衡。

负载均衡的极端就是容灾，正常情况下根据性能状况保证每个节点处理合适的请求量即可。

这三点是运维平台或业务生产的系统中的核心能力。包括腾讯在内的运维平台都是基于这三个服务闭环去运行的。只有在做到这三点，才能解决系统异常，维持系统的正常运转。

微服务运维平台的迭代重心

其实我们在平台构建的时候，在整个的平台进化的过程中，其实是要有优先级，要有取舍的。总得来说，优先要解决我们的瓶颈问题。 然后是平行扩展的能力，还有考虑服务复用的能力，甚至是一些开源的解决方案的利用。但是开源这个东西，我从来不觉得是说大家把一堆的开源工具用在一起，能够形成一个很好的一个运维平台。

大家应该是把这些开源的能力，这些一个个的微服务，核心的这个架构还是必须要有自己的控制力在这里。比如：监控。很多开源的系统，它是更偏重于执行层的工具，但是核心的CMDB，核心的流程控制还是需要我们去建设的。