【云原生-白皮书】简章2:深入理解DevOps+微服务

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
注册配置 MSE Nacos/ZooKeeper,118元/月
云原生网关 MSE Higress,422元/月
简介: 在搞懂DevOps和微服务之前,需要先搞懂什么是单体应用/单体架构。简单来说,就跟在校的一些小项目一样,项目的Demo写好了,找一台服务器安装环境,然后把jar包远程上服务器,然后跑起来服务就可以了。

单体架构


单体架构是什么

在搞懂DevOps和微服务之前,需要先搞懂什么是单体应用/单体架构。简单来说,就跟在校的一些小项目一样,项目的Demo写好了,找一台服务器安装环境,然后把jar包远程上服务器,然后跑起来服务就可以了。这个时候进行简单的服务监控也不难,如果项目出了问题,查看一下运行日志,就可以知道哪一步出问题了。如果懂一些脚本,也可以写一些脚本分析日志,解放双手监控服务器。这种单体架构就是采用瀑布流方式开发的,服务的流程就是:设计 -> 开发 -> 测试 -> 部署

单体B/S架构

在还没有微服务和DevOps之前,一个Web应用的上线,一般都是将所有的功能都打包在一起,也就是都在一个项目包里面,然后将项目打包到一个服务器上跑起来就可以了,那个时候的B/S应用架构就是单体架构,结构图如下:

单体B/S+负载均衡

如果当用户访问量变大导致一台服务器无法支撑时,就需要加服务器进行负载均衡,这个时候架构的形式就是:单体B/S+负载均衡

单体B/S+前后端分离(CDN)

用了一段时间负载均衡之后,发现通过CDN手段,把静态文件独立,可以加速服务,提升应用速度,所以单体架构就进一步演变成了:B/S+前后端分离(CDN)

单体架构总结

上面所说的架构都是单体应用,只是某方面的部署形式进行了优化与改动,所以最终都避免不了单体应用的普遍缺陷:

单体

1、代码量大,应用启动时间较长。

2、测试周期长,更改Bug需要对全部业务进行回归测试。

3、应用容错性差,当某个程序出错后,导致整个项目业务宕机。

4、伸缩性困难,只能整个应用进行扩展,浪费资源。

5、开发协作性困难,项目人员都在维护一套代码,协作周期长、难度大。

DevOps

DevOps是什么

DevOps:Development和Operations的组合词,是一种重视“软件开发人员(Dev)”和“IT运维技术人员(Ops)”之间沟通合作的文化、运动或惯例。透过自动化“软件交付”和“架构变更”的流程,来使得构建、测试、发布软件能够更加地快捷、频繁和可靠。


分布式架构+敏捷开发模式

随着上述说的单体架构时,业务流量越来越大,那么肯定几台服务器是不够用的,这个时候就会加很多服务器机器,也会加入Nignx、CDN、缓存、消息队列等技术栈,同时开发人员也会变多,这个时候就是 多人多机协同开发问题。


多人协同开发的问题

这个时候,大多会将项目进行拆分,每个人负责专注于开发一部分业务,敏捷开发的核心理念就是既然无法充分了解超高业务流量下的用户的真实需求是怎样的,就将一个大的目标不断拆解,把它变成一个个可交付的小目标、小项目,然后通过不断迭代,以小步快跑的方式持续开发


此外,这个时候项目是非常大的,为保证项目质量,测试环节不可减少,为了加快速度增大开发效率,测试的工作最好是和开发同步交替进行的,需要将测试环节从后面注入到整个开发环节当中,每次可交付的都是一个可用的功能集合,对开发交付的内容进行持续验证。这样开发产品的可控性也更强,可以阶段性的检验一下项目成果。


多机器问题

之前机器很少架构简单的时候,开发就可以干运维的活,就算加了几台服务器,那也是脚本将 jar包 发布到这些机器上,好像也挺简单,但是会有两个人同时上线部署被覆盖的问题,但这些都不是问题,只要约定好错开时间进行上线部署就可以了。


但你如果是几千台服务器起步,那就需要专门的运维人员进行维护项目了,因为开发分工每个人都专注于自己的事情,不会那么用心进行维护,另一方面是运维的学习成本确实变高了,开发人质量参差不齐,如果服务器出问题那就不是小事。


但是这个时候也不是 DevOps,而是 Dev+Ops,还没有融合在一起。这时 Ops 的主要职责就是:硬件维护、网络设备维护、DBA 、基础服务维护、数据监控等,运维们擅长写各种部署,监控脚本,减少机械的重复工作,开发模式变成了敏捷开发模式。


这个时候,开发设计流程大致是这样。


到这里了,还没有引入到DevOps,还要先再插入讲讲微服务,才能更好的说明DevOps到底怎么理解。

微服务


微服务是什么

微服务(Microservices)是一种软件架构,它是以专注于单一责任与功能的小型功能区块 (Small Building Blocks) 为基础,利用模块化的方式组合出复杂的大型应用程序,各功能区块使用与语言无关 (Language-Independent/Language agnostic)的API集相互通信。


微服务的出现就是因为原来单体应用架构已经无法满足当前互联网产品的技术需求。


那么,到底什么样的服务才能算是微服务?

1、单一职责的。一个微服务应该都是单一职责的,这才是“微”的体现,一个微服务解决一个业务问题(注意是一个业务问题而不是一个接口)。

2、面向服务的。将自己的业务能力封装并对外提供服务,这是继承SOA的核心思想,一个微服务本身也可能使用到其它微服务的能力。

(有点像SOA的演进)


微服务架构

微服务架构,核心是为了解决应用微服务化之后的服务治理问题。


应用微服务化之后,首先遇到的第一个问题就是服务发现问题,一个微服务如何发现其他微服务呢?最简单的方式就是每个微服务里面配置其他微服务的地址,但是当微服务数量众多的时候,这样做明显不现实。所以需要使用到微服务架构中的一个最重要的组件:服务注册中心,所有服务都注册到服务注册中心,同时也可以从服务注册中心获取当前可用的服务清单:

解决服务发现问题后,接着需要解决微服务分布式部署带来的第二个问题:服务配置管理的问题。当服务数量超过一定程度之后,如果需要在每个服务里面分别维护每一个服务的配置文件,运维人员估计要哭了。那么,就需要用到微服务架构里面第二个重要的组件:配置中心,微服务架构就变成下面这样了:

以上应用内部的服务治理,当客户端或外部应用调用服务的时候怎么处理呢?服务A可能有多个节点,服务A、服务B和服务C的服务地址都不同,服务授权验证在哪里做?这时,就需要使用到服务网关提供统一的服务入口,最终形成典型微服务架构:

上面是一个典型的微服务架构,当然微服务的服务治理还涉及很多内容,比如:

1、通过熔断、限流等机制保证高可用;

2、微服务之间调用的负载均衡;

3、分布式事务(2PC、3PC、TCC、LCN等);

4、服务调用链跟踪等等。

主流的微服务框架

目前国内企业使用的微服务框架主要是Spring Cloud和Dubbo(或者DubboX),Spring Cloud已经逐渐成为主流,比较两个框架的优劣势的文章在网上有很多,这里就不重复了,选择什么框架还是按业务需求来吧,业务框架决定技术框架。


Spring Cloud全家桶提供了各种各样的组件,基本可以覆盖微服务的服务治理的方方面面,以下列出了Spring Cloud一些常用组件:

DevOps+微服务:拆分解耦

了解完上述全部之后,假设当原本是单体架构的公司发展到非常大规模的时候,会有很多程序员、服务器等等,所以一个项目里面,什么语言、技术栈都会有,Java、Go、Python肯定是数不胜数的,所以,这个时候需要协调技术栈,并且项目后期肯定会变得非常大,全部都兑到一个项目里,最直接的后果就是项目变得很大,上线项目启动时间变长,一个BUG可能导致整个业务全线崩溃,最终的后果就是项目变得越来越难以维护,加一个改一个东西几乎搞不动,而且还越来越难重构。


所以,拆分解耦是最终的出路,将项目拆成一个个小的服务单独部署,以电商项目为例,将整个项目拆分为用户服务、商品服务、订单服务,积分服务、支付服务每个服务单独部署,之间通过互相调用的方式来交互,而且可以将一些基础服务例如上传图片,发送短信等很多服务都需要的基础服务,抽象到一个单独的整合服务,也就是之前所谓的中台服务。

拆分解耦演化催生DevOps

按照上述说的微服务架构进行开发DevOps的话,运维需要做的上线工作,主要就是将代码部署到对应的机器里面,微服务有那么多的服务,每个大点的公司几百个服务不算多,而且还可能随时搞一个服务出来,如果还按照原始的脚本部署方式,可能最后连是哪个脚本都找不到。而且,如果每个服务上线都需要运维来同意,开发会非常难受,需要天天找运维同意发布,运维也会增加繁琐的工作量。


所以,开始演化出远程部署一些机器,专门用来管理代码,进行上线工作,由运维事先把上线的规则都给定义好了,开发只要按照他的规则都访问这台服务器进行各自的代码合成和发布,自己上线呢,能用代码自动完成的事情就绝不要手动解决,这是每个开发人员都在想的东西。运维需要做的事情,慢慢的都沉淀到了各个平台上面,例如监控,有专门的监控组件和可视化,基础服务例如服务器,CDN,负载均衡等基础服务可以外包到云服务厂商,日志也有专门的日志工具,链路追踪也有专门的组件和可视化,还有网关等,渐渐的,只要这些都配置好了,开发也可以做运维的部分工作,毕竟开发才是最了解代码的人,哪里出了问题看看监控日志,可以最快速度定位到问题,于是DevOps开发模式诞生了,开发也是运维。

早期的DevOps,大部分指的都是“开发运维一体化”。

而现在的DevOps,概念上已经扩大到端到端的概念了。

实现DevOps:DevOps搭建工具

综上所示:DevOps 的三大支柱之中,即人(People)、流程(Process)和平台(Platform)。


项目管理(PM):Jira。运营可以上去提问题,可以看到各个问题的完整的工作流,待解决未解决等;

代码管理:Gitlab。jenkins或者K8S都可以集成gitlab,进行代码管理,上线,回滚等;

持续集成CI(Continuous Integration):gitlab ci。开发人员提交了新代码之后,立刻进行构建、(单元)测试。根据测试结果,我们可以确定新代码和原有代码能否正确地集成在一起。

持续交付CD(Continuous Delivery):gitlab cd。完成单元测试后,可以把代码部署到连接数据库的 Staging 环境中更多的测试。如果代码没有问题,可以继续手动部署到生产环境中。

镜像仓库:VMware Harbor,私服nexus。

容器:Docker。

编排:K8S。

服务治理:Consul。

脚本语言:Python。

日志管理:Cat+Sentry,还有种常用的是ELK。

系统监控:Prometheus。

负载均衡:Nginx。

网关:Kong,zuul。

链路追踪:Zipkin。

产品和UI图:蓝湖。


相关实践学习
Serverless极速搭建Hexo博客
本场景介绍如何使用阿里云函数计算服务命令行工具快速搭建一个Hexo博客。
相关文章
|
22天前
|
Kubernetes 持续交付 Docker
探索DevOps实践:利用Docker与Kubernetes实现微服务架构的自动化部署
【10月更文挑战第18天】探索DevOps实践:利用Docker与Kubernetes实现微服务架构的自动化部署
69 2
|
3月前
|
运维 Cloud Native Devops
一线实战:运维人少,我们从 0 到 1 实践 DevOps 和云原生
上海经证科技有限公司为有效推进软件项目管理和开发工作,选择了阿里云云效作为 DevOps 解决方案。通过云效,实现了从 0 开始,到现在近百个微服务、数百条流水线与应用交付的全面覆盖,有效支撑了敏捷开发流程。
19348 30
|
2月前
|
运维 Cloud Native Devops
云原生架构的崛起与实践云原生架构是一种通过容器化、微服务和DevOps等技术手段,帮助应用系统实现敏捷部署、弹性扩展和高效运维的技术理念。本文将探讨云原生的概念、核心技术以及其在企业中的应用实践,揭示云原生如何成为现代软件开发和运营的主流方式。##
云原生架构是现代IT领域的一场革命,它依托于容器化、微服务和DevOps等核心技术,旨在解决传统架构在应对复杂业务需求时的不足。通过采用云原生方法,企业可以实现敏捷部署、弹性扩展和高效运维,从而大幅提升开发效率和系统可靠性。本文详细阐述了云原生的核心概念、主要技术和实际应用案例,并探讨了企业在实施云原生过程中的挑战与解决方案。无论是正在转型的传统企业,还是寻求创新的互联网企业,云原生都提供了一条实现高效能、高灵活性和高可靠性的技术路径。 ##
183 3
|
2月前
|
运维 Cloud Native Devops
云原生时代的DevOps实践:自动化、持续集成与持续部署
【9月更文挑战第3天】未来,随着人工智能、大数据等技术的不断融入,DevOps实践将更加智能化和自动化。我们将看到更多创新的技术和工具涌现出来,为软件开发和运维带来更多便利和效益。同时,跨团队协作和集成也将得到进一步加强,推动软件开发向更加高效、可靠和灵活的方向发展。
|
4月前
|
缓存 Devops 微服务
微服务01好处,随着代码越多耦合度越多,升级维护困难,微服务技术栈,异步通信技术,缓存技术,DevOps技术,搜索技术,单体架构,分布式架构将业务功能进行拆分,部署时费劲,集连失败如何解决
微服务01好处,随着代码越多耦合度越多,升级维护困难,微服务技术栈,异步通信技术,缓存技术,DevOps技术,搜索技术,单体架构,分布式架构将业务功能进行拆分,部署时费劲,集连失败如何解决
|
6月前
|
监控 Devops API
构建高效微服务架构:API网关的作用与实践构建高效稳定的云基础设施:DevOps与容器化技术融合实践
【5月更文挑战第28天】 在当今的软件开发领域,微服务架构因其灵活性、可扩展性和容错能力而备受推崇。本文将深入探讨API网关在构建微服务系统中的关键角色,包括它如何促进系统的高可用性、安全性和性能监控。我们将剖析API网关的核心组件,并借助具体实例展示如何实现一个高效的API网关来服务于复杂的微服务环境。 【5月更文挑战第28天】 随着企业数字化转型的深入,传统的IT运维模式已难以满足快速迭代和持续交付的需求。本文聚焦于如何通过融合DevOps理念与容器化技术来构建一个高效、稳定且可扩展的云基础设施。我们将探讨持续集成/持续部署(CI/CD)流程的优化、基于微服务架构的容器化部署以及自动化监
|
6天前
|
设计模式 Java API
微服务架构演变与架构设计深度解析
【11月更文挑战第14天】在当今的IT行业中,微服务架构已经成为构建大型、复杂系统的重要范式。本文将从微服务架构的背景、业务场景、功能点、底层原理、实战、设计模式等多个方面进行深度解析,并结合京东电商的案例,探讨微服务架构在实际应用中的实施与效果。
31 6
|
6天前
|
设计模式 Java API
微服务架构演变与架构设计深度解析
【11月更文挑战第14天】在当今的IT行业中,微服务架构已经成为构建大型、复杂系统的重要范式。本文将从微服务架构的背景、业务场景、功能点、底层原理、实战、设计模式等多个方面进行深度解析,并结合京东电商的案例,探讨微服务架构在实际应用中的实施与效果。
19 1
|
2月前
|
安全 应用服务中间件 API
微服务分布式系统架构之zookeeper与dubbo-2
微服务分布式系统架构之zookeeper与dubbo-2
|
2月前
|
负载均衡 Java 应用服务中间件
微服务分布式系统架构之zookeeper与dubbor-1
微服务分布式系统架构之zookeeper与dubbor-1