单元测试3.0实践之Golang质量生态建设

简介: 研发是否必须写单测?文章提到,单元测试对于确保代码质量、提高软件可靠性至关重要。在顶级互联网公司中,单元测试被认为是必要的,因为它能快速执行、降低维护成本,并能发现代码中的问题。文章还讨论了Go语言中单元测试的优化,如支持不同版本的Go、提高测试覆盖率、处理并发问题等。此外,文章介绍了一个用于Go语言单元测试的插件,该插件可以集成到持续集成流程中,提供详细的测试报告和覆盖率信息。通过这个插件,团队可以方便地管理和执行单元测试,提升开发效率和代码质量。

研发:就不能不写单测吗?

image.png

  • 端到端测试:正如Martin Fowler 所说 大量的端到端测试增加了测试时间,并且使得测试成本变得昂贵。
  • 单元测试: 执行更加迅速,维护成本更低,因此单元测试的积累是我们走向卓越工程的必须项,单元测试的执行也使得测试粒度更细,能够更轻易发现我们代码中的缺陷。

以上每一条都阐述了单元测试的必要性,在各大顶尖互联网公司中,均认为单元测试是必要且收益较高的,因此在一个卓越工程下研发同学是一定需要写单元测试的。


Golang单元测试的整体思路和实践

当前实现方式对比2.0单元测试实现上的优化点


单元测试2.0 单元测试3.0
接入成本
  • 各个应用维护自己的单元测试的脚本,定制化太强,不规范,难以维护。
  • 将各个应用的单元测试脚本集成为Aone实验室插件,提供通用化的执行脚本,极大降低接入成本,用户无需维护臃肿的单脚本。
测试资源问题
  • 提供固定机器,每次执行如果释放测试资源不及时,导致机器性能低下,磁盘占用过高。
  • 将单元测试集成为插件形式,通过即插即用的容器化资源,每次执行单元测试后释放测试资源,降低维护成本。
各个应用执行单测差异性
  • 在执行过程中无法指定Golang的执行环境版本;
  • 在覆盖率的采集上,无法指定过滤那些文件不进行统计覆盖率;
  • 单测指令的优化,需要修改所有应用的脚本,这使得每一次的迭代成本都极大。
  • 在多Go执行版本支持;
  • 在覆盖率采集中,支持ignore忽略统计的选项支持;
  • 在执行单元测试上,通过优化gc,修改cpu执行参数,并优化了单元测试的执行路径,使得单测执行速度有了更大的提升。
覆盖率采集不准
  • 在覆盖率采集中,使用go-cov和diff-cover这两个组件生成增量覆盖率和行覆盖率,会缺少没有写单测的包下所有文件,未执行的业务代码也不会进行统计,导致整体的覆盖率计算都是不精确的。
  • 3.0中,通过对增量覆盖率的实现进行重写,基于git diff 的结果和覆盖率文件进行重新计算增量代码的覆盖情况,产出准确的增量覆盖率;
  • 行覆盖率则使用go原生ast解析生成所有文件的函数代码行,解决行覆盖率统计不准问题。
报告展示
  • 对于单测执行,测试报告内容以及覆盖率展示比较简单,用户无法清晰看出测试问题。
  • 在3.0的实现中,将整体的测试报告进行了html化,并进行页面美化,使得报告展示更明晰;
  • 并接入准确的覆盖率数据自定义了一套展示报告的方式,生成的报告更加美观清晰。


从golang单测的插件说起:


插件的整体架构:

image.png

在整个CI流程中,我们依赖aone实验室提供的action工作流,实现了golang的单元测试的插件,在插件中我们分别去执行go的单测,全量覆盖率的扫描,增量覆盖率的扫描,分支覆盖率的扫描。


基于go语言的编译特性,我们将go服务编译为一个个的二进制文件,在bash环境中执行每一个任务并获取最终结果。


插件的代码结构如下:


aone-golang-ut-plugin
    |--main    // 主入口文件
    |--bootstrap.sh  // 插件执行依赖环境安装 go&python3
    |--execute.sh   // 主执行文件
    |--log.sh      // 日志文件
    |--config.yml  //插件接入核心.yml文件
    |--util.sh   // shell工具类
    |--init.sh  // 初始化项目
    |--bin      //插件执行依赖bin文件
        |-gocov     
        |-diff-cover
        |-go-branch-cov


插件执行时序图:

image.png


go单元测试的执行


目前go的单元测试是直接使用go官方的单测cli命令执行,可参考[1]。


单测命令示例:


go test ./... -timeout 3m -v -gcflags=-l \
       -cover=true -coverprofile=$coverFile -coverpkg=./... -mod=vendor


我们在go项目根目录下执行这条单测命令就可以运行go项目的单元测试并产出覆盖率文件,并根据单测命令中给出的flag标记,例如cover,coverprofile 等就可以产出单测的覆盖率信息。


在使用过程中,我们可以直接使用插件,在插件中自定义当前项目的单测命令,例如:

image.png

这样就能轻松的在持续集成过程中运行我们的单测了。

实践效果和接入

实验室执行结果:

image.png

测试报告的查看:

单元测试执行结果的报告:其中包含单测函数的执行结果,单测执行的详情,分支覆盖率的详情。

image.png

行增量覆盖率的报告:

image.png

目前已累计接入应用50+


如何接入使用?

最简单的接入方式,实现最强大的功能。在实验室中选择高德golang单测插件,填写当前项目的单测命令即可。参考链接:[1]https://pkg.go.dev/cmd/go#hdr-Testing_flags


作者 | 陈敏锐(姜依)

来源 | 阿里云开发者公众号

相关文章
|
4天前
|
机器学习/深度学习 人工智能 自然语言处理
自动化测试的新篇章:利用AI提升软件质量
【8月更文挑战第27天】在软件开发的海洋中,自动化测试是确保航船不偏离航线的关键罗盘。随着人工智能(AI)技术的兴起,这艘航船正乘风破浪,以前所未有的速度前进。本文将探索如何通过AI技术优化自动化测试流程,不仅提高测试的效率和覆盖范围,而且增强测试用例的智能生成和结果分析能力。我们将从AI在自动化测试中的应用入手,深入探讨其对测试准确性和效率的影响,以及面临的挑战与未来的发展方向。
|
3天前
|
Kubernetes Cloud Native 测试技术
探索软件测试的奥秘:从理论到实践深入理解云原生架构:从基础到实践
【8月更文挑战第28天】在软件开发的世界中,测试不仅是质量的守护者,也是创新的催化剂。本文将带你穿越软件测试的迷宫,从基础概念到高级策略,揭示如何通过测试提升软件质量和用户体验。我们将一起解码测试的核心原则,探索自动化测试的魅力,并学习如何设计有效的测试案例。无论你是测试新手还是资深开发者,这篇文章都将为你提供宝贵的见解和实用的技巧,让你在软件测试的道路上更加从容不迫。 【8月更文挑战第28天】本文旨在为读者揭示云原生技术的核心概念、优势以及如何在实际项目中应用。通过深入浅出的方式,我们将探索云原生的多个方面,包括容器化、微服务架构、持续集成和持续部署(CI/CD)、以及如何利用Kubern
|
5天前
|
安全 测试技术
软件测试的艺术与实践
在软件开发的海洋中,测试犹如灯塔指引着安全航行的方向。本文将深入探讨软件测试的核心理念、方法和实践技巧,帮助读者理解如何通过有效的测试策略确保软件质量,以及如何利用自动化工具提升测试效率。我们将从基本概念入手,逐步展开至高级测试技术,旨在为读者呈现一幅清晰的软件测试全景图。
|
4天前
|
机器学习/深度学习 人工智能 自然语言处理
探索AI在文本生成中的应用与挑战自动化测试框架的搭建与实践
【8月更文挑战第27天】本文将深入探讨人工智能(AI)在文本生成领域的应用,包括其技术原理、实际应用案例以及面临的主要挑战。通过分析AI文本生成的工作原理和实际效果,我们将揭示这项技术如何改变内容创作、新闻撰写、对话系统等多个领域。同时,我们也将讨论AI文本生成带来的伦理和质量问题,以及如何平衡创新与风险,确保技术的健康发展。
|
3天前
|
jenkins 测试技术 持续交付
解锁.NET项目高效秘籍:从理论迷雾到实践巅峰,持续集成与自动化测试如何悄然改变游戏规则?
【8月更文挑战第28天】在软件开发领域,持续集成(CI)与自动化测试已成为提升效率和质量的关键工具。尤其在.NET项目中,二者的结合能显著提高开发速度并保证软件稳定性。本文将从理论到实践,详细介绍CI与自动化测试的重要性,并以ASP.NET Core Web API项目为例,演示如何使用Jenkins和NUnit实现自动化构建与测试。每次代码提交后,Jenkins自动触发构建流程,通过编译和运行NUnit测试确保代码质量。这种方式不仅节省了时间,还能快速发现并解决问题,推动.NET项目开发迈向更高水平。
20 8
|
3天前
|
敏捷开发 测试技术 持续交付
探索自动化测试的奥秘:从理论到实践
【8月更文挑战第29天】在软件开发的海洋中,自动化测试是一艘能够带领团队高效航行的帆船。本文将揭开自动化测试的神秘面纱,从其核心理念出发,逐步深入到实际应用中去。我们将一起构建一个简单的自动化测试框架,通过动手实践来体会自动化测试的魅力所在。无论你是初学者还是有经验的开发者,这篇文章都将为你提供新的视角和实用技巧。
|
3天前
|
监控 测试技术 UED
软件测试的艺术:确保质量的五个关键实践
【8月更文挑战第28天】 在软件开发领域,测试不仅是发现错误的工具,更是确保产品稳定性、性能和用户满意度的基石。本文将深入探讨五个关键的软件测试实践,包括单元测试、集成测试、系统测试、压力测试和回归测试,以及它们如何共同构建起一个坚实的质量保证体系。通过这些实践,我们不仅能够提升软件的质量,还能更好地预测和应对潜在的风险,从而为最终用户提供更加稳定可靠的软件产品。
19 5
|
1天前
|
敏捷开发 测试技术 持续交付
软件测试中的自动化策略与实践云计算时代的网络安全挑战与对策
【8月更文挑战第30天】在软件开发的海洋中,自动化测试是一艘能够带领团队高效航行的帆船。本文将探讨如何搭建这艘帆船,从选择适合的自动化测试框架开始,到编写有效的测试脚本,再到持续集成的实施和测试结果的分析,我们将一步步揭开自动化测试的神秘面纱。你将学习到如何通过自动化测试来提升软件质量和开发效率,以及如何克服实施过程中的挑战。让我们一起启航,探索自动化测试的世界。
|
3天前
|
监控 安全 测试技术
自动化测试框架设计:从理论到实践
【8月更文挑战第28天】在软件开发的快节奏世界中,自动化测试是保证产品质量和提升开发效率的关键。本文将引导读者深入理解自动化测试的理论,并展示如何将这些理论应用到实践中去。我们将一起探索构建一个高效、可维护的自动化测试框架所需的步骤,并通过实际代码示例来加深理解。无论你是初学者还是有经验的开发者,这篇文章都将为你提供宝贵的知识和技能,帮助你在自动化测试的道路上更进一步。
|
5天前
|
测试技术 持续交付 UED
软件测试中的自动化策略与实践
【8月更文挑战第26天】在软件开发的海洋中,自动化测试是一艘能够带领团队穿越波涛汹涌的质量保证之海的坚固船只。本文将探讨如何搭建这艘“船”,即构建有效的自动化测试框架,以及如何利用它来确保软件的稳定性和性能。我们将从基础的自动化测试概念出发,逐步深入到实际案例分析,展示如何通过自动化测试提升工作效率和产品质量,最终实现软件开发流程的优化。

热门文章

最新文章

下一篇
云函数