DevOps之持续集成

简介: 软件持续集成

什么是持续集成?

先说一下什么是“持续”,持续的意思并不是“始终,一直”,它的意思是“随时”。比较恰当的频率是:每当有人提交代码,同时集成一次。


“持续集成”实践最早来自 1996 年 Kent Beck(肯特·贝克)提出的极限编程方法(XP)。他在《解析极限编程——拥抱变化》一书中给出了一个简短的说明:“持续集成是每天多次集成和生成系统,每次都完成一个构建任务”。


在 2006 年 5 月 1 日,Martin Fowler(马丁·福勒)在其个人官网给出了相对正式的定义:

“持续集成是一种软件开发实践,团队成员频繁地将他们的工作成果集成在一起。通常是每人每天至少提交一次,这样每天就有多次集成。每次提交后,自动触发一次包含自动化测试的构建任务,以便能尽早发现集成问题。”


通过这种方式,许多团队大大减少了集成阶段的问题。由此可以看出,持续集成是一种质量反馈的机制,能够尽早地发现代码中的问题,并提前解决问题。


为什么要做持续集成?

作为软件从业人员,我们都知道,软件开发有一个特点,就是在没有开发完成之前,很长一段时间内是无法运行应用程序的。一般都是前期大家开发各自的功能模块,最后在集成阶段将功能集成在一起,进行验收测试。这样做就会导致几个问题:

  • 由于长期在各自的分支上开发,导致在集成阶段合并分支时产生大量冲突,无法合并;
  • 由于之前并未进行过任何集成,导致在集成阶段耗时太长,或者根本无法集成;
  • 由于之前并未进行过任何测试,导致系统集成后发现并不满足要求。


解决上面问题的最佳方法就是持续集成。

目前在谈到集成时,主要有以下两种集成方式。


即时集成:是指团队成员每次提交之后就进行集成,并执行编译、构建、自动化测试等任务来检查个人提交的代码是否可用。这种集成方式要求执行的时间要短,要快速反馈结果,因此只能执行一些简单地测试。

  • 定时集成:类似每日构建(Daily Build),是指每天定时(一般为晚上)自动执行一次集成过程,第二天将执行结果发送给关系人。这种集成方式注重的是检测的全面性和彻底性,对执行时长要求不高。
  • 持续集成一般是指即时集成,但定时集成在某些场景下也是非常有用的。比如,比较耗时的集成过程。


持续集成的工作流程

持续集成服务器可以采用目前最受欢迎的 Jenkins,如下图所示:

image.png


每次提交后具体的执行步骤是:


  • 开发人员在本地工作空间提交代码到代码仓库;
  • 版本控制系统通过 WebHook 等机制实时通知持续集成服务器;
  • 持续集成服务器克隆最新的代码和构建脚本到服务器本地,或者专用的服务器;
  • 在持续集成服务器或专用服务器上执行构建脚本,对最新的代码进行检查,包括编译构建、代码动静态扫描、单元测试以及部署到测试环境运行功能测试等;
  • 运行结束后,自动生成执行结果报告
  • 将执行结果通过邮件等方式通知给开发人员。


为了保证每次集成的效率,以上步骤都是通过自动化方式执行的。开发人员只需要专注于代码开发,提交后只需等待几分钟就能够收到执行结果。这里需要强调的是,虽然开发人员不需要关注除代码开发之外的事情,但对每次提交有要求,比如:要保证每次提交的是一个完整的功能项。代码只写了一半就提交,功能测试肯定是通不过的。


如何实现持续集成

实现持续集成需要一定的先决条件,也就是上图中的几个组成部分,包含版本控制系统、持续集成系统和自动化测试。


版本控制系统

版本控制系统用于存储和软件相关的所有内容,比如应用程序的源代码、数据库脚本、构建脚本和部署脚本等。目前采用的都是基于 Git 的分布式版本控制系统,如GitLab、GitHub、Gitea等。不管是自研的还是开源的,对于应用持续集成实践,版本控制系统提供了基本的版本控制能力,能够记录哪个版本的代码是通过测试的,哪个版本还存在问题,并对有问题的版本进行回滚。


为了提高持续集成的效率,当代码提交后,都会采用实时通知机制。目前的版本控制系统都提供了基于 WebHook 或基于消息的通知机制,当不同类型的事件发生后,就会通知注册方。


持续集成系统

虽然持续集成实践中并未要求一定要有个持续集成的工具。但工欲善其事必先利其器,使用持续集成工具可以达到事半功倍的效果。目前常用的持续集成工具有开源的 Jenkins,功能比较完备,基于插件体系可以与构建和部署领域的很多工具进行集成。


持续集成系统与版本控制系统集成时,一个关键点就是如何触发构建。下图是 Jenkins 自由风格流水线的界面,这里主要查看构建触发器这部分。Jenkins提供了多种触发策略来满足不同的需求。这里着重介绍其中的三个。

image.png

  • 定时构建:提供了类似 cron 的功能来定期执行。一般主要用于像每日构建/每周构建这样定期执行的构建。
  • Build when a change is pushed to GitLab:当 GitLab 发生变更后触发构建,该选项需要添加 GitLab 的 WebHook,当事件发生时才能进行通知。
  • 轮询 SCM:通过轮询的方式检查版本控制系统是否发生变更。该选项是一个成本很高的操作,因为每次轮询都需要 Jenkins 扫描整个工作空间并与服务器进行验证。


自动化测试

持续集成的目的是提前发现代码中存在的问题,保证软件是可工作的。如果没有全面的自动化测试,构建成功只能意味着应用程序能够编译通过,并不能保证软件的功能是正常的。因此,在持续集成流程中,自动化测试是必须的。有三类测试需要加入持续集成的流程中,分别是单元测试、集成测试和验收测试。


  • 单元测试:用于单独测试应用程序中某些小单元的行为,比如一个方法、一个函数。通常不需要启动整个应用程序就可以执行,而且也不需要连接数据库、文件系统和网络。


  • 集成测试:用于测试应用程序中几个组件的行为。与单元测试一样,通常也需要启动整个应用程序,但有可能需要连接数据库、访问文件系统或其他外部系统或接口。


  • 验收测试:用于验证应用程序是否满足业务需求所定义的验收条件,包含应用程序提供的功能,以及其他非功能性需求,如容量、安全性等。验收测试通常要将整个应用程序运行于测试环境之中。


开发人员的要求

为了做好持续集成,除了上面提到的一些工具作为支撑,对每个开发人员也提出了一些要求,主要体现在以下三个方面。


频繁提交

正如在开头提到,持续的含义是“随时”。我也给出了最恰当的频率:只要有人提交就需要进行集成。对于持续集成来说,开发人员需要做的就是频繁提交代码到版本控制库中一,每天至少提交一次。这样做有几个好处:


  • 提交得越频繁,越早收到集成的反馈;
  • 每次提交的变更很小,就很少会导致构建失败;
  • 即便是导致构建失败,也很容易知道是哪里的问题,很容易修复或者回滚。


在持续集成的实践中,建议采用“主干开发”的工作模式,因为这种模式才能真正做到持续集成。但在很多企业里都是采用 GitFlow 等基于分支的工作流模式来进行协同开发。因为每个开发人员都是在自己的分支上开发,并未与其他分支的代码实现实时集成。这里开发人员需要注意的是,不仅要频繁将代码提交到各自的分支,同时每天要至少一次将各自的分支合并到发布分支,进行全流程测试。


提交一个完整的任务

不要只为了频繁提交而随意提交代码,频繁提交不等于随意提交。要保证每次提交的内容都是有意义的,都是一个完整的任务。比如要添加一个查询家庭地址的接口,要把该功能开发完成后一次性提交,而不是接口写了一半就提交了。这个要求和之前谈到的限制在制品数量是有关系,如果同时并行的任务数太多,就会出现在一次提交里同时包含多个任务的代码。这种情况提交的代码会严重影响测试效果。


这种情况非常普遍,我正在处理一个 Bug 或者开发一个功能,已经改了很多文件。但这时需要处理其他更紧急的工作,如果在当前状态下修改就会出现同一次提交包含多个任务代码的问题。这里介绍一个方法来解决这个问题:可以使用 git stash 命令,保存当前对代码库做的更改,并恢复到上次提交的状态。当提交完穿插的任务后,再恢复到上一个更改的状态,继续完成该任务。这样就能保证每次提交都是一个完整的任务。


构建失败后立即修复

当某个团队成员提交代码后导致构建失败,说明本次提交影响了软件的整体质量。这个时候,整个团队都不能再继续提交代码了,而是先处理构建失败的问题。这个实践也是应用了丰田生产管理系统(TPS)中的“立即停止原则”。其含义是:当生产线上已经发现了问题,就应该立即停止来解决问题。如果问题没有得到有效解决还仍然是生产线保持运行,则会生产出更多的残次品。


同样的道理,对于软件团队来说,如果提交构建失败后没有立即修复,其他人再次提交新的代码,就一定会引起提交构建失败。那么,这次失败是上次失败导致的,还是新的代码导致的,就变得很复杂了。


目录
相关文章
|
9天前
|
运维 Cloud Native Devops
云原生时代的DevOps实践:自动化、持续集成与持续部署
【9月更文挑战第3天】未来,随着人工智能、大数据等技术的不断融入,DevOps实践将更加智能化和自动化。我们将看到更多创新的技术和工具涌现出来,为软件开发和运维带来更多便利和效益。同时,跨团队协作和集成也将得到进一步加强,推动软件开发向更加高效、可靠和灵活的方向发展。
|
7天前
|
Devops jenkins Shell
DevOps实践:持续集成与持续部署(CI/CD)的探索之旅
【9月更文挑战第3天】在软件开发的世界里,DevOps已经成为了提升效率、加速产品迭代的关键。本文将深入浅出地探讨DevOps文化中的核心实践——持续集成(Continuous Integration,CI)和持续部署(Continuous Deployment,CD),并展示如何通过实际操作来优化开发流程。我们将一起踏上这段旅程,解锁自动化的魅力,让代码更流畅地转化为价值。
|
12天前
|
Java Devops 持续交付
探索Java中的Lambda表达式:简化代码,提升效率DevOps实践:持续集成与部署的自动化之路
【8月更文挑战第30天】本文深入探讨了Java 8中引入的Lambda表达式如何改变了我们编写和管理代码的方式。通过简化代码结构,提高开发效率,Lambda表达式已成为现代Java开发不可或缺的一部分。文章将通过实际例子展示Lambda表达式的强大功能和优雅用法。
|
11天前
|
持续交付 jenkins Devops
WPF与DevOps的完美邂逅:从Jenkins配置到自动化部署,全流程解析持续集成与持续交付的最佳实践
【8月更文挑战第31天】WPF与DevOps的结合开启了软件生命周期管理的新篇章。通过Jenkins等CI/CD工具,实现从代码提交到自动构建、测试及部署的全流程自动化。本文详细介绍了如何配置Jenkins来管理WPF项目的构建任务,确保每次代码提交都能触发自动化流程,提升开发效率和代码质量。这一方法不仅简化了开发流程,还加强了团队协作,是WPF开发者拥抱DevOps文化的理想指南。
31 1
|
11天前
|
持续交付 jenkins C#
“WPF与DevOps深度融合:从Jenkins配置到自动化部署全流程解析,助你实现持续集成与持续交付的无缝衔接”
【8月更文挑战第31天】本文详细介绍如何在Windows Presentation Foundation(WPF)项目中应用DevOps实践,实现自动化部署与持续集成。通过具体代码示例和步骤指导,介绍选择Jenkins作为CI/CD工具,结合Git进行源码管理,配置构建任务、触发器、环境、构建步骤、测试及部署等环节,显著提升开发效率和代码质量。
30 0
|
11天前
|
前端开发 Java UED
JSF遇上Material Design:一场视觉革命,如何让传统Java Web应用焕发新生?
【8月更文挑战第31天】在当前的Web开发领域,用户体验和界面美观性至关重要。Google推出的Material Design凭借其独特的动画、鲜艳的颜色和简洁的布局广受好评。将其应用于JavaServer Faces(JSF)项目,能显著提升应用的现代感和用户交互体验。本文介绍如何通过PrimeFaces等组件库在JSF应用中实现Material Design风格,包括添加依赖、使用组件及响应式布局等步骤,为用户提供美观且功能丰富的界面。
19 0
|
11天前
|
前端开发 Devops 持续交付
【前端自动化新高度】Angular与Azure DevOps完美结合:从零构建持续集成与持续部署的全自动流水线,提升开发效率与软件交付质量!
【8月更文挑战第31天】Angular作为领先的前端框架,以强大功能和灵活性深受开发者喜爱。Azure DevOps提供一站式DevOps服务,涵盖源码管理、持续集成(CI)及持续部署(CD)。本文将指导你如何在Azure DevOps中搭建Angular项目的CI/CD流程,并通过具体示例代码展示整个过程。首先,我们将创建一个Angular项目并初始化Git仓库;然后,在Azure DevOps中设置CI流水线,定义YAML文件以自动化构建和部署流程。最终实现每次提交代码后自动构建并部署至Azure Web App,极大提升了开发效率和软件交付速度,使团队更专注于创新。
10 0
|
2月前
|
监控 druid Java
spring boot 集成配置阿里 Druid监控配置
spring boot 集成配置阿里 Druid监控配置
159 6
|
2月前
|
Java 关系型数据库 MySQL
如何实现Springboot+camunda+mysql的集成
【7月更文挑战第2天】集成Spring Boot、Camunda和MySQL的简要步骤: 1. 初始化Spring Boot项目,添加Camunda和MySQL驱动依赖。 2. 配置`application.properties`,包括数据库URL、用户名和密码。 3. 设置Camunda引擎属性,指定数据源。 4. 引入流程定义文件(如`.bpmn`)。 5. 创建服务处理流程操作,创建控制器接收请求。 6. Camunda自动在数据库创建表结构。 7. 启动应用,测试流程启动,如通过服务和控制器开始流程实例。 示例代码包括服务类启动流程实例及控制器接口。实际集成需按业务需求调整。
180 4
|
2月前
|
消息中间件 Java 测试技术
【RocketMQ系列八】SpringBoot集成RocketMQ-实现普通消息和事务消息
【RocketMQ系列八】SpringBoot集成RocketMQ-实现普通消息和事务消息
132 1