单元测试3.0实践之Golang质量生态建设

简介: 研发是否必须写单测?文章提到,单元测试对于确保代码质量、提高软件可靠性至关重要。在顶级互联网公司中,单元测试被认为是必要的,因为它能快速执行、降低维护成本,并能发现代码中的问题。文章还讨论了Go语言中单元测试的优化,如支持不同版本的Go、提高测试覆盖率、处理并发问题等。此外,文章介绍了一个用于Go语言单元测试的插件,该插件可以集成到持续集成流程中,提供详细的测试报告和覆盖率信息。通过这个插件,团队可以方便地管理和执行单元测试,提升开发效率和代码质量。

研发:就不能不写单测吗?

image.png

  • 端到端测试:正如Martin Fowler 所说 大量的端到端测试增加了测试时间,并且使得测试成本变得昂贵。
  • 单元测试: 执行更加迅速,维护成本更低,因此单元测试的积累是我们走向卓越工程的必须项,单元测试的执行也使得测试粒度更细,能够更轻易发现我们代码中的缺陷。

以上每一条都阐述了单元测试的必要性,在各大顶尖互联网公司中,均认为单元测试是必要且收益较高的,因此在一个卓越工程下研发同学是一定需要写单元测试的。


Golang单元测试的整体思路和实践

当前实现方式对比2.0单元测试实现上的优化点


单元测试2.0 单元测试3.0
接入成本
  • 各个应用维护自己的单元测试的脚本,定制化太强,不规范,难以维护。
  • 将各个应用的单元测试脚本集成为Aone实验室插件,提供通用化的执行脚本,极大降低接入成本,用户无需维护臃肿的单脚本。
测试资源问题
  • 提供固定机器,每次执行如果释放测试资源不及时,导致机器性能低下,磁盘占用过高。
  • 将单元测试集成为插件形式,通过即插即用的容器化资源,每次执行单元测试后释放测试资源,降低维护成本。
各个应用执行单测差异性
  • 在执行过程中无法指定Golang的执行环境版本;
  • 在覆盖率的采集上,无法指定过滤那些文件不进行统计覆盖率;
  • 单测指令的优化,需要修改所有应用的脚本,这使得每一次的迭代成本都极大。
  • 在多Go执行版本支持;
  • 在覆盖率采集中,支持ignore忽略统计的选项支持;
  • 在执行单元测试上,通过优化gc,修改cpu执行参数,并优化了单元测试的执行路径,使得单测执行速度有了更大的提升。
覆盖率采集不准
  • 在覆盖率采集中,使用go-cov和diff-cover这两个组件生成增量覆盖率和行覆盖率,会缺少没有写单测的包下所有文件,未执行的业务代码也不会进行统计,导致整体的覆盖率计算都是不精确的。
  • 3.0中,通过对增量覆盖率的实现进行重写,基于git diff 的结果和覆盖率文件进行重新计算增量代码的覆盖情况,产出准确的增量覆盖率;
  • 行覆盖率则使用go原生ast解析生成所有文件的函数代码行,解决行覆盖率统计不准问题。
报告展示
  • 对于单测执行,测试报告内容以及覆盖率展示比较简单,用户无法清晰看出测试问题。
  • 在3.0的实现中,将整体的测试报告进行了html化,并进行页面美化,使得报告展示更明晰;
  • 并接入准确的覆盖率数据自定义了一套展示报告的方式,生成的报告更加美观清晰。


从golang单测的插件说起:


插件的整体架构:

image.png

在整个CI流程中,我们依赖aone实验室提供的action工作流,实现了golang的单元测试的插件,在插件中我们分别去执行go的单测,全量覆盖率的扫描,增量覆盖率的扫描,分支覆盖率的扫描。


基于go语言的编译特性,我们将go服务编译为一个个的二进制文件,在bash环境中执行每一个任务并获取最终结果。


插件的代码结构如下:


aone-golang-ut-plugin
    |--main    // 主入口文件
    |--bootstrap.sh  // 插件执行依赖环境安装 go&python3
    |--execute.sh   // 主执行文件
    |--log.sh      // 日志文件
    |--config.yml  //插件接入核心.yml文件
    |--util.sh   // shell工具类
    |--init.sh  // 初始化项目
    |--bin      //插件执行依赖bin文件
        |-gocov     
        |-diff-cover
        |-go-branch-cov


插件执行时序图:

image.png


go单元测试的执行


目前go的单元测试是直接使用go官方的单测cli命令执行,可参考[1]。


单测命令示例:


go test ./... -timeout 3m -v -gcflags=-l \
       -cover=true -coverprofile=$coverFile -coverpkg=./... -mod=vendor


我们在go项目根目录下执行这条单测命令就可以运行go项目的单元测试并产出覆盖率文件,并根据单测命令中给出的flag标记,例如cover,coverprofile 等就可以产出单测的覆盖率信息。


在使用过程中,我们可以直接使用插件,在插件中自定义当前项目的单测命令,例如:

image.png

这样就能轻松的在持续集成过程中运行我们的单测了。

实践效果和接入

实验室执行结果:

image.png

测试报告的查看:

单元测试执行结果的报告:其中包含单测函数的执行结果,单测执行的详情,分支覆盖率的详情。

image.png

行增量覆盖率的报告:

image.png

目前已累计接入应用50+


如何接入使用?

最简单的接入方式,实现最强大的功能。在实验室中选择高德golang单测插件,填写当前项目的单测命令即可。参考链接:[1]https://pkg.go.dev/cmd/go#hdr-Testing_flags


作者 | 陈敏锐(姜依)

来源 | 阿里云开发者公众号

相关文章
|
4天前
|
测试技术 开发者 Python
自动化测试之美:从零构建你的软件质量防线
【10月更文挑战第34天】在数字化时代的浪潮中,软件成为我们生活和工作不可或缺的一部分。然而,随着软件复杂性的增加,如何保证其质量和稳定性成为开发者面临的一大挑战。自动化测试,作为现代软件开发过程中的关键实践,不仅提高了测试效率,还确保了软件产品的质量。本文将深入浅出地介绍自动化测试的概念、重要性以及实施步骤,带领读者从零基础开始,一步步构建起属于自己的软件质量防线。通过具体实例,我们将探索如何有效地设计和执行自动化测试脚本,最终实现软件开发流程的优化和产品质量的提升。无论你是软件开发新手,还是希望提高项目质量的资深开发者,这篇文章都将为你提供宝贵的指导和启示。
|
24天前
|
Java 测试技术 开发者
初学者入门:掌握单元测试的基础与实践
【10月更文挑战第14天】单元测试是一种软件测试方法,它验证软件中的最小可测试单元——通常是单独的函数或类——是否按预期工作。单元测试的目标是确保每个模块在其自身范围内正确无误地运行。这些测试应该独立于其他模块,并且应该能够反复执行而不受外部环境的影响。
46 2
|
3天前
|
机器学习/深度学习 人工智能 自然语言处理
自动化测试的新篇章:利用AI提升软件质量
【10月更文挑战第35天】在软件开发的海洋中,自动化测试犹如一艘救生艇,它帮助团队确保产品质量,同时减少人为错误。本文将探索如何通过集成人工智能(AI)技术,使自动化测试更加智能化,从而提升软件测试的效率和准确性。我们将从AI在测试用例生成、测试执行和结果分析中的应用出发,深入讨论AI如何重塑软件测试领域,并配以实际代码示例来说明这些概念。
23 3
|
4天前
|
测试技术 API Android开发
探索软件测试中的自动化框架选择与实践####
本文深入探讨了软件测试领域内,面对众多自动化测试框架时,如何依据项目特性和团队需求做出明智选择,并分享了实践中的有效策略与技巧。不同于传统摘要的概述方式,本文将直接以一段实践指南的形式,简述在选择自动化测试框架时应考虑的核心要素及推荐路径,旨在为读者提供即时可用的参考。 ####
|
15天前
|
机器学习/深度学习 人工智能 自然语言处理
探索软件测试的边界:从基础到高级的实践之旅
【10月更文挑战第21天】 在当今数字化时代,软件已成为我们生活和工作中不可或缺的一部分。随着技术的快速发展,对软件质量的要求也日益提高。本文旨在通过深入浅出的方式,带领读者踏上一场从基础到高级的软件测试实践之旅。我们将探讨软件测试的基本概念、重要性以及如何有效地进行测试规划和执行。通过具体案例分析,揭示常见错误及其解决方案,同时展望未来软件测试领域的发展趋势。无论你是软件开发新手还是经验丰富的测试工程师,这篇文章都将为你提供宝贵的见解和启发。
34 8
|
14天前
|
监控 安全 jenkins
探索软件测试的奥秘:自动化测试框架的搭建与实践
【10月更文挑战第24天】在软件开发的海洋里,测试是确保航行安全的灯塔。本文将带领读者揭开软件测试的神秘面纱,深入探讨如何从零开始搭建一个自动化测试框架,并配以代码示例。我们将一起航行在自动化测试的浪潮之上,体验从理论到实践的转变,最终达到提高测试效率和质量的彼岸。
|
18天前
|
敏捷开发 监控 jenkins
自动化测试之美:打造高效的软件质量保障体系
【10月更文挑战第20天】在软件开发的海洋中,自动化测试如同一艘精准的导航船,引领项目避开错误的礁石,驶向质量的彼岸。本文将扬帆起航,探索如何构建和实施一个高效的自动化测试体系,确保软件产品的稳定性和可靠性。我们将从测试策略的制定、工具的选择、脚本的编写,到持续集成的实施,一步步描绘出自动化测试的蓝图,让读者能够掌握这一技术的关键要素,并在自己的项目中加以应用。
27 5
|
17天前
|
测试技术 C# 数据库
C# 一分钟浅谈:测试驱动开发 (TDD) 实践
【10月更文挑战第18天】测试驱动开发(TDD)是一种软件开发方法论,强调先编写测试代码再编写功能代码,以确保代码质量和可维护性。本文从 TDD 的基本概念入手,详细介绍了其核心步骤——编写测试、运行测试并失败、编写代码使测试通过,以及“红绿重构”循环。文章还探讨了 TDD 的优势,包括提高代码质量、促进设计思考、减少调试时间和文档化。此外,文中分析了常见问题及解决方案,如测试覆盖率不足、测试代码过于复杂、忽视重构和测试依赖过多,并通过一个简单的计算器类的代码案例,展示了 TDD 的实际应用过程。
32 1
|
18天前
|
Java 测试技术 持续交付
探索自动化测试的奥秘:提升软件质量的关键
【10月更文挑战第20天】 在当今快速发展的软件行业中,自动化测试已成为确保产品质量和加速开发周期的重要工具。本文将深入探讨自动化测试的核心概念、实施策略及其对软件开发生命周期的影响,旨在为读者提供一种全面理解自动化测试的视角,并展示如何有效地将其应用于实际项目中以提高软件质量和效率。
17 2
|
9天前
|
NoSQL 测试技术 Go
自动化测试在 Go 开源库中的应用与实践
本文介绍了 Go 语言的自动化测试及其在 `go mongox` 库中的实践。Go 语言通过 `testing` 库和 `go test` 命令提供了简洁高效的测试框架,支持单元测试、集成测试和基准测试。`go mongox` 库通过单元测试和集成测试确保与 MongoDB 交互的正确性和稳定性,使用 Docker Compose 快速搭建测试环境。文章还探讨了表驱动测试、覆盖率检查和 Mock 工具的使用,强调了自动化测试在开源库中的重要性。