精确测试

简介: # 定义 直接引用百度的 : 精准测试是一套计算机测试辅助分析系统。精准测试的核心组件包含的软件测试示波器、用例和代码的双向追溯、智能回归测试用例选取、覆盖率分析、缺陷定位、测试用例聚类分析、测试用例自动生成系统,这些功能完整的构成了精准测试技术体系   # 背景 集团的同学分享了...

# 定义

直接引用百度的 :

精准测试是一套计算机测试辅助分析系统。精准测试的核心组件包含的软件测试示波器、用例和代码的双向追溯、智能回归测试用例选取、覆盖率分析、缺陷定位、测试用例聚类分析、测试用例自动生成系统,这些功能完整的构成了精准测试技术体系

 

# 背景

集团的同学分享了关于精准测试的文章,看了下简单记录一下

 

# 正文

(以下都是个人理解,如果有不对欢迎留言讨论)

1. 做测试的朋友都可能碰到过:漏测/少测,根本原因是不知道研发改动了什么/影响到什么 or 是知道了改动了什么但因为一些需求历史不清楚,导致不知道影响到了什么;

1. 精准的对立就是模糊,精准测试说白了就是当研发提交一个新版本过来的时候,你知道它改动了什么,影响到哪些接口/方法,然后针对改动点去测试。是从测试的角度去看待问题,提高测试的效率,毕竟之前是要求全量回归的,现在只需要测试部分;

2. 精准测试 跟 回归测试有没有悖论呢 ?回归测试,验证新功能会不会对其他原有功能造成影响;而精准测试貌似说是可以发现这些影响面? 了解了精准测试的大致原理,我只能说很难发现,why?

3. 精准测试的大致思路:研发改动了什么 --> 影响面评估 -->  筛选用例 --> 用例执行 ;

 

# 没有精确测试

1. 提测 -- 研发提交代码,告知改动点,可能的影响面,自测点,测试重点(这里需要靠谱的研发!!)

2. 用例编写 -- 针对这次需求/改动点编写用例,用业务经验/技术经验来评估影响面来新增用例;

3. 用例review -- 用例发给组内同学一起讨论下,从别人的角度看待问题;

4. 用例执行 ;

总结: 其实用业务经验、技术经验、用例组内review就是一种精确测试,只是人工的形式罢了

 

# 有了精确测试

1. 提测 -- 通过git工具获取本次提交的变更记录,获取改动的情况,可具体到哪个文件;

2. diff --  通过diff工具,git也有diff功能,class文件的diff,目的就是找出方法级别的改动;

3. 分析调用链路 -- 通过分析源码,找到入口,也就是top方法,java的service层,controller层

4. 筛选用例 --  根据链路上的影响分析需要回归哪些用例;

总结:整体大致流程就是:代码push --> 触发精准测试任务 --> 通过git工具获取改动详情(文件,方法,入口)--> 在用例库中筛选用例自动化执行 --> 报告输出(用例+覆盖率)

 

# 精确测试好处

1. 评估影响面,对长链路测试有帮助,A-B-C-D,修改了C,能评估中ABD中方法级别的影响;

2. 提高测试效率,避免了不必要的用例执行;

 

# 精确测试的疑问

1. 如果同一个工程中的链路,用精确测试确实可以精确的发现影响面,提供测试效率,但是多系统之间呢 ?如购物车系统 + 订单系统,两个不同的团队之间的链路,只能评估到比较粗的粒度;

2. 数据依赖的,无法解决;A系统的代码变更导致写入DB中的数据变化了,B系统知识根据数据来走业务流程,那么A跟B的联系 就断开了,目前看到的文章只能在代码级别做关联;

 

# 可借鉴的

1. 思路:从代码追溯到接口级别的改动来筛选用例,可以帮忙评估影响面,结合CI流程,是不是每次代码push可以有个大致的影响面评估图呢?

虽千万人,吾往矣!
目录
相关文章
HIMA F8652X 以应用精确和最佳的控制
HIMA F8652X 以应用精确和最佳的控制
HIMA F8652X 以应用精确和最佳的控制
|
9月前
|
监控 测试技术
测试结果不准确,该怎么办?
测试结果不准确,该怎么办?
205 0
|
测试技术 开发工具 git
精准测试——从代码修改范围精准缩小测试范围
[本文出自天外归云的博客园] 去年产品要求上传txt文件来实现批量上传用户名单这一块,这回产品直接把txt文件放ftp了,要求后台管理系统也支持从ftp直接读取txt文件。其实就是在后台管理系统里的头图管理功能中加个ftp地址按钮,输入ftp以后确定,预期结果是和上传txt文件的按钮选择txt文本上传后实现的效果是一样的。
1515 0
|
机器学习/深度学习 自然语言处理 计算机视觉
|
机器学习/深度学习 自然语言处理 计算机视觉
|
SQL 测试技术 数据库
测试基准数据的准备
在很多时候我们都需要做一些对比测试,比如我们的机器换了一个平台,比如机器做了较大的硬件升级和改造,或者引入了第三方的软件服务等等,很多时候就需要做一个基准测试,想根据测试结果然后对比做了一些变更之后,性能是提升了还是下降了,或者提升了,提升幅度有多少,这个单纯来估算一个值既不科学也不准确。
1130 0
|
运维 测试技术 应用服务中间件
|
存储 芯片 异构计算
METSO IOP304 从lut中检索值来评估(lut)和函数
METSO IOP304 从lut中检索值来评估(lut)和函数
121 0
METSO  IOP304 从lut中检索值来评估(lut)和函数
|
5月前
|
自然语言处理 数据可视化 API
优化采样参数提升大语言模型响应质量:深入分析温度、top_p、top_k和min_p的随机解码策略
本文详细解析了大语言模型(LLM)的采样策略及其关键参数,如温度和top_p。LLM基于输入提示生成下一个标记的概率分布,通过采样策略选择标记并附回输入,形成循环。文章介绍了对数概率(logprobs)、贪婪解码、温度参数调整、top-k与top-p采样等概念,并探讨了min-p采样这一新方法。通过调整这些参数,可以优化LLM输出的质量和创造性。最后,文章提供了实验性尝试的建议,帮助读者在特定任务中找到最佳参数配置。本文使用VLLM作为推理引擎,展示了Phi-3.5-mini-instruct模型的应用实例。
246 6

热门文章

最新文章