Go应用单元测试实践

简介: Go应用单元测试搭建

背景

高德打车运营的应用大多基于go进行开发的,我们希望在预集成环境下,当研发部署完代码,能自动触发单元测试和接口自动化测试,并生成覆盖率报告。参考了许多篇关于go单元测试的文章,有的缺少行增量覆盖率,有的缺少case运行结果/case运行日志。本文旨在搭建一个稳定运行且维护成本低的单元测试/集成测试环境。

一、单元测试

1.1 单测运行概述

图1 单测运行流程图

aone作为阿里巴巴集团数字化研发协同平台,本身提供了各种集成测试实验室,实验室中可以运行自定义脚本。如图1所示,为单元测试运行流程图。单元测试由aone实验室脚本触发,Java服务收到单测任务后调起单测脚本并执行,最后由aone实验室轮询运行结果。之所以不在单测实验室脚本中直接运行单测,主要存在以下两个原因。一是单测的运行依赖GO环境,以及一些生成覆盖率文件所需的三方工具。目前aone实验室不支持自定义镜像接入,每次运行都需要安装环境,安装环境的耗时远大于运行单测。二是每个应用的单测运行命令可能不太一样,一旦应用数目较多,如果单测脚本需要调整,更改的成本比较高。因此启动一个JAVA服务(完全可以复用已有的服务,降低成本),将运行单测所需要的脚本,以及环境都打包在这个服务上。aone上的实验室脚本,只进行单测任务的下发、轮询和运行结果的展示。具体流程如下:

  1. 当开发在预集成环境提交代码、部署完成之后,流程自动运行单测实验室。单测实验室里的脚本,先调用任务下发接口/unit/taskReceive,这时Java服务会调用对应的单测脚本。
  2. 由于单测脚本运行时间会比较长,所以/unit/taskReceive接口会超时。在单测脚本正在运行的时候,单测实验室的脚本会一直调用/unit/taskQuery接口,查询此次单测任务的状态,直到返回正确结果为止。
  3. 当单测脚本完成时,会回调任务完成接口/unit/taskSave接口,将结果存起来。这样单测实验室脚本再调用/unit/taskQuery接口查询时,就会返回此次单测的结果。
  4. 单测实验室脚本,根据任务返回的结果,将单测结果解析、展示。

1.2 环境搭建

将所需的环境,打包到Java服务的docker中:

  • golang安装

go单测需要运行go test,所以需要在环境中安装go。安装完成后,配置环境变量和代理。

wget https://golang.google.cn/dl/go1.17.8.linux-amd64.tar.gz
tar -zxvf go1.17.8.linux-amd64.tar.gz -C /usr/local/
mkdir -p /${your go path dir}/gopath
echo -e "export PATH=\"$PATH:/usr/local/go/bin:/${your go path dir}/gopath/bin\"\nexport GOPATH=\"/${your go path dir}/gopath\"\nexport GOPROXY=\"${go代理地址},direct\"" >> /etc/profile
source /etc/profile
  • 代码覆盖率插件安装

运用一些开源工具,将单测生成的覆盖文件转换成xml/html格式的覆盖率文件。主要用到gocov-html,gocov,gocov-xml。参考地址:https://github.com/axw/gocov,https://github.com/AlekSi/gocov-xml。

go get github.com/matm/gocov-html
go get github.com/axw/gocov/... 
go get github.com/AlekSi/gocov-xml
  • 行增量覆盖率工具安装

利用diff-cover(https://github.com/Bachmann1234/diff_cover),生成行增量覆盖率。diff-cover依赖python3,python3的安装可能需要先装好gcc,automake,autoconf,libtool,make,zlib,zlib-devel openssl。

yum -y install gcc automake autoconf libtool make zlib zlib-devel openssl openssl-devel
wget https://www.python.org/ftp/python/3.8.1/Python-3.8.1.tgz
tar -zxvf Python-3.8.1.tgz && cd Python-3.8.1 && ./configure && make && make install 
pip3 install diff-cover -i https://mirrors.aliyun.com/pypi/simpl
  • git安装&配置

运行单元测试时,依赖开发的代码。需要配置好一个有代码权限的git ssh公钥和私钥,用来下载代码。

yum -y git 
name=`git config user.name`
if [ -z "$name" ]
then
  git config --global user.name "xxx"
  git config --global user.email "xxxx@xxxx.xxxx.com"
  mkdir -p ~/.ssh
  cp ${your id_rsa} ~/.ssh/
fi

1.3 Java服务实现

1.3.1 单测任务下发接口

Path:/unit/taskReceive
Method:POST
Params:{
    "taskId": "123456", //可以用日期20220221102104,主要用来标识此次单测
    "appName":"应用A", //应用名,根据应用名,选择运行对应的单测脚本。比如应用A就会运行应用A.sh
    "branch":"releases/test-branch-code", //需要运行单测的分支名
    "repo":"git@xxxxx.git" //应用A的代码地址,下载代码之后,才能运行单测
}
Result:返回啥都行,反正会超时。

具体实现逻辑:

  • 在redis中记录此次单测任务,key:"${appName}${taskId}-unit",value:"ongoing"。以便/unit/taskQuery查询,从而知道单测还在运行中。
  • 根据appName参数,选择执行${appName}.sh脚本。如果脚本不存在,就去阿里云对象存储服务(Object Storage Service,简称OSS)下载脚本(所以,如果单测脚本有更新,就更新下OSS上的脚本,然后删除运行机器上的${appName}.sh即可。这样可以不重新部署Java服务,即可更改运行脚本)。${appName}.sh脚本大致逻辑如下:
source /etc/profile
APP_NAME=$1
Branch=$2
TaskId=$3
Repo=$4
DIR=`pwd`
PREFIX=$APP_NAME$TaskId
#生成覆盖率文件的文件夹
mkdir -p $DIR/$APP_NAME/$TaskId/cover
COVER_FILE=$DIR/$APP_NAME/$TaskId/cover/core.cover
LOG_FILE=$DIR/$APP_NAME/$TaskId/cover/log.txt
COVER_DIR=$DIR/$APP_NAME/$TaskId/cover
UNIT_TEST_RESULT_FILE=$DIR/$APP_NAME/$TaskId/cover/unit_pass.txt
#存放覆盖率详情html文件的文件夹
mkdir -p /${your path}/res_unit
#下载代码
cd $DIR/$APP_NAME/$TaskId
git clone -b $Branch $Repo
#运行单元测试
cd ./$APP_NAME
CONF_DIR=$DIR/$APP_NAME/$TaskId/$APP_NAME/conf
go test ./... -timeout 3m -v -gcflags=-l -cover=true -coverprofile=$COVER_FILE -mod=vendor -args --confDir=$CONF_DIR >> $LOG_FILE
#行增量覆盖率
gocov convert $COVER_FILE | gocov-xml > $COVER_DIR/coverage.xml
diff-cover $COVER_DIR/coverage.xml --compare-branch=origin/master --html-report $COVER_DIR/report.html > $COVER_DIR/diff.out
tmp=`cat $COVER_DIR/diff.out | grep "Total:" | cut -d ':' -f2`
if [ -n "$tmp" ]
then
  echo "CODE_COVERAGE_NAME_UPDATELINES : 行增量"
  CODE_COVERAGE_UPDATE_LINES_TOTAL=`cat $COVER_DIR/diff.out | grep "Total:" | cut -d':' -f2 | grep -o -E '[0-9]+'`
  miss=`cat $COVER_DIR/diff.out | grep "Missing:" | cut -d ':' -f2 | grep -o -E '[0-9]+'`
  CODE_COVERAGE_UPDATE_LINES_COVER=$(( CODE_COVERAGE_UPDATE_LINES_TOTAL - miss))
fi
cp $COVER_DIR/report.html /${your path}/res_unit/${PREFIX}update.html
#代码行覆盖率
gocov convert $COVER_FILE | gocov-html > $COVER_DIR/line.html
CODE_COVERAGE_LINES_COVER=`head -n 50 $COVER_DIR/coverage.xml | grep "lines-valid" | awk -F 'lines-covered' '{print $2}' | awk -F ' ' '{print $1}' | grep -o -E '[0-9]+'`
CODE_COVERAGE_LINES_TOTAL=`head -n 50 $COVER_DIR/coverage.xml | grep "lines-valid" | awk -F 'lines-valid' '{print $2}' | awk -F ' ' '{print $1}' | grep -o -E '[0-9]+'`
cp $COVER_DIR/line.html /${your path}/res_unit/${PREFIX}line.html
#case 通过情况
pass=`cat $LOG_FILE | grep -o "\--- PASS: " | wc -l`
fail=`cat $LOG_FILE | grep -o "\--- FAIL: " | wc -l`
echo "************************************" >> $UNIT_TEST_RESULT_FILE
cat $LOG_FILE | grep "\--- FAIL: " >> $UNIT_TEST_RESULT_FILE
echo "************************************" >> $UNITTEST_RESULT_FILE
echo "SUCCESS:" >> $UNIT_TEST_RESULT_FILE
cat $LOG_FILE | grep "\--- PASS: " >> $UNIT_TEST_RESULT_FILE
echo "************************************" >> $UNIT_TEST_RESULT_FILE
iconv  -f UTF-8 -t gbk $UNIT_TEST_RESULT_FILE > temp.txt
sed -i 's/    //g;s/---//g' temp.txt
cat temp.txt > $UNIT_TEST_RESULT_FILE
cp $UNIT_TEST_RESULT_FILE /${your path}/res_unit/${PREFIX}pass.txt
#结果收集
curl -i "http://${your server host}/unit/taskSave" -H "Content-Type:application/json" -X POST -d "{\"taskId\":\"$TaskId\", \"appName\":\"$APP_NAME\", \"branch\": \"$Branch\", \"taskRes\": \"{\\\"code_coverage_update_lines_total\\\":$CODE_COVERAGE_UPDATE_LINES_TOTAL, \\\"code_coverage_update_lines_cover\\\":$CODE_COVERAGE_UPDATE_LINES_COVER,\\\"code_coverage_lines_total\\\":$CODE_COVERAGE_LINES_TOTAL, \\\"code_coverage_lines_cover\\\":$CODE_COVERAGE_LINES_COVER, \\\"fail\\\":$fail, \\\"pass\\\":$pass}\"}"

1.3.2 单测任务查询接口

PATH:/unit/taskQuery
METHOD:POST
Params:{
    "taskId": "123456", //可以用日期20220221102104,主要用来标识此次单测
    "appName":"xxxx", //应用名,根据应用名,选择运行对应的单测脚本
}
Result:如果单测运行完成,返回code="1",data是单测结果。如果单测没完成,返回code="2",data="task ongoing",如果单测运行超过10分钟,返回code="2",data="redis nil or delay"

具体实现逻辑:直接查询redis中key="${appName}${taskId}-unit"对应的值即可。

1.3.3 单测结果保存接口

PATH:/unit/taskSave
METHOD:POST
Params:{
    "taskId": "123456", //可以用日期20220221102104,主要用来标识此次单测
    "appName":"xxxx", //应用名,根据应用名,选择运行对应的单测脚本。
    "taskRes":"{\"code_coverage_update_lines_total\":100,\"code_coverage_update_lines_cover\":100,\"code_coverage_lines_cover\":100,\"code_coverage_lines_total\":100,\"fail\":0,\"pass\":100}" //单测运行结果
}
Result:成功返回code="1"

1.4 实验室配置

如1.1所述,aone实验室只需要分发任务、轮询任务,以及解析结果。

TASK_ID=$(date "+%Y%m%d%H%M%S")
APP_NAME=`xxxx`
PREFIX=$APP_NAME$TASK_ID
echo $TASK_ID
echo $APP_NAME
echo $PREFIX
failed="true" 
# 分发任务
curl -i "http://${your server host}/unit/taskReceive" -X POST -H "Content-Type:application/json" -d "{\"taskId\": \"$TASK_ID\",\"appName\": \"$APP_NAME\", \"branch\": \"${branch}\", \"repo\":\"${repo}\"}"
for time in 10s 30s 40s 50s 70s 100s 100s 70s 50s 40s 30s 10s
do
    #轮询任务
    res=$(curl "http://${your server host}/unit/taskQuery" -X POST -H "Content-Type:application/json" -d "{\"taskId\": \"$TASK_ID\",\"appName\": \"$APP_NAME\", \"branch\": \"${branch}\", \"repo\":\"${repo}\"}")
    echo $res
    code=$(echo $res | grep -o -E 'code":[0-9]' | cut -d ":" -f2)
    isOngoing=$(echo $res | grep -o -E 'data":[^}]*' | cut -d ":" -f2)
    if [ "$code" = "1" ] && [ $isOngoing != "\"ongoing\"" ] && [ $isOngoing != "null" ]
    then
      #根据res解析单元测试运行结果
      #略
      break
    fi
    sleep $time
done
if [ "$failed" == "true" ]
then
    echo "Job failed"
fi

1.5 最终结果

最终的运行结果如图2,单元测试、行增量覆盖率、行覆盖率都可以点击跳转查看详情。如图3,4,5。跳转地址的实现,是采用nginx提供的访问静态文件功能。只需要在nginx的配置文件中,增加配置

location ^~ /res_unit {
  root  /${your path};
}

这样,如果想访问a.html文件,只需要将其放在/${your path}/res_unit/a.html。就可以通过链接https://${your server host}/res_unit/a.html访问到。

图2 aone单测运行示例                                                            图3 case通过情况                    

图4 行增量覆盖率

图5 行覆盖率

其他

高德共享出行技术质量团队求贤若渴(北京岗),诚招Java开发P6&P7、测试开发工程师P6&P7,有意向欢迎联系ling.wanglingfeng@alibaba-inc.com

相关实践学习
对象存储OSS快速上手——如何使用ossbrowser
本实验是对象存储OSS入门级实验。通过本实验,用户可学会如何用对象OSS的插件,进行简单的数据存、查、删等操作。
相关文章
|
人工智能 自然语言处理 测试技术
从人工到AI驱动:天猫测试全流程自动化变革实践
天猫技术质量团队探索AI在测试全流程的落地应用,覆盖需求解析、用例生成、数据构造、执行验证等核心环节。通过AI+自然语言驱动,实现测试自动化、可溯化与可管理化,在用例生成、数据构造和执行校验中显著提效,推动测试体系从人工迈向AI全流程自动化,提升效率40%以上,用例覆盖超70%,并构建行业级知识资产沉淀平台。
从人工到AI驱动:天猫测试全流程自动化变革实践
|
数据采集 存储 人工智能
从0到1:天猫AI测试用例生成的实践与突破
本文系统阐述了天猫技术团队在AI赋能测试领域的深度实践与探索,讲述了智能测试用例生成的落地路径。
从0到1:天猫AI测试用例生成的实践与突破
|
监控 安全 Shell
管道符在渗透测试与网络安全中的全面应用指南
管道符是渗透测试与网络安全中的关键工具,既可用于高效系统管理,也可能被攻击者利用实施命令注入、权限提升、数据外泄等攻击。本文全面解析管道符的基础原理、实战应用与防御策略,涵盖Windows与Linux系统差异、攻击技术示例及检测手段,帮助安全人员掌握其利用方式与防护措施,提升系统安全性。
666 6
|
消息中间件 缓存 NoSQL
Redis各类数据结构详细介绍及其在Go语言Gin框架下实践应用
这只是利用Go语言和Gin框架与Redis交互最基础部分展示;根据具体业务需求可能需要更复杂查询、事务处理或订阅发布功能实现更多高级特性应用场景。
700 86
|
人工智能 数据可视化 测试技术
AI 时代 API 自动化测试实战:Postman 断言的核心技巧与实战应用
AI 时代 API 自动化测试实战:Postman 断言的核心技巧与实战应用
1559 11
|
Java 测试技术 API
自动化测试工具集成及实践
自动化测试用例的覆盖度及关键点最佳实践、自动化测试工具、集成方法、自动化脚本编写等(兼容多语言(Java、Python、Go、C++、C#等)、多框架(Spring、React、Vue等))
988 6
|
人工智能 边缘计算 搜索推荐
AI产品测试学习路径全解析:从业务场景到代码实践
本文深入解析AI测试的核心技能与学习路径,涵盖业务理解、模型指标计算与性能测试三大阶段,助力掌握分类、推荐系统、计算机视觉等多场景测试方法,提升AI产品质量保障能力。
|
人工智能 自然语言处理 测试技术
AI测试平台的用例管理实践:写得清晰,管得高效,执行更智能
在测试过程中,用例分散、步骤模糊、回归测试效率低等问题常困扰团队。霍格沃兹测试开发学社推出的AI测试平台,打通“用例编写—集中管理—智能执行”全流程,提升测试效率与覆盖率。平台支持标准化用例编写、统一管理操作及智能执行,助力测试团队高效协作,释放更多精力优化测试策略。目前平台已开放内测,欢迎试用体验!
|
Java Shell Maven
【Azure Container App】构建Java应用镜像时候遇无法编译错误:ERROR [build 10/10] RUN ./mvnw.cmd dependency:go-offline -B -Dproduction package
在部署Java应用到Azure Container App时,构建镜像过程中出现错误:“./mvnw.cmd: No such file or directory”。尽管项目根目录包含mvnw和mvnw.cmd文件,但依然报错。问题出现在Dockerfile构建阶段执行`./mvnw dependency:go-offline`命令时,系统提示找不到可执行文件。经过排查,确认是mvnw文件内容异常所致。最终通过重新生成mvnw文件解决该问题,镜像成功构建。
842 1
|
人工智能 资源调度 jenkins
精准化回归测试:大厂实践与技术落地解析
在高频迭代时代,全量回归测试成本高、效率低,常导致关键 bug 漏测。精准化测试通过代码变更影响分析,智能筛选高价值用例,显著提升测试效率与缺陷捕获率,实现降本增效。已被阿里、京东、腾讯等大厂成功落地,成为质量保障的新趋势。

热门文章

最新文章