我用ChatGPT把回归测试从3天压到3小时,提示词全公开

简介: 本文分享如何用ChatGPT优化电商后台回归测试:通过提示词引导,实现用例梳理、自动化脚本生成与日志分析三步提效,将3天人工测试压缩至3小时。强调其辅助定位而非替代人力,聚焦释放工程师精力于高价值工作。

先说结论:不是标题党。

上个月我们发版前最后一次回归,从早上9点干到晚上11点,三个人轮着点,点到后面眼睛都花了。结果还是漏了一个优惠券叠加的边界场景,上线第二天客服就炸了。

那天晚上我就在想,这破事儿能不能让ChatGPT干。

试了两周,现在回归测试基本3小时收工。不是全自动,但至少不用人肉当点读机了。

下面直接把我的用法和提示词全倒出来,能不能复用你们自己判断。

先说说我们之前的蠢办法
项目是电商后台,200多个接口,前端页面40多个。每次发版前回归测试清单有180多条用例,大部分是重复的:登录、下单、退款、优惠券、库存扣减……

之前就是三个人分,一人60条,手动点。点完还要对数据,看日志,录结果。三天下来人都傻了。

最关键的是,人一累就会偷懒。有些用例看着“应该没问题”就跳过了,结果偏偏就是这种地方出事儿。

我是怎么用ChatGPT的
先说清楚,ChatGPT不能帮你点页面。但它能干三件事:

帮你把测试用例梳理清楚,找出重复和遗漏
帮你生成自动化脚本(Python + Selenium/Requests)
帮你分析失败日志,快速定位问题
我一个个说。

第一步:让ChatGPT帮你“瘦身”测试用例
我把180条用例粘贴进去,用这个提示词:

你是一个资深测试工程师。以下是我们项目的回归测试用例清单,格式为“编号 | 模块 | 用例描述 | 预期结果”。

请帮我做三件事:

  1. 找出功能重复或高度相似的用例,合并建议;
  2. 找出覆盖缺失的边界场景(比如并发、空值、极值、网络异常);
  3. 按“核心链路 / 重要分支 / 边缘场景”重新分级,并给出每级的建议执行频率。

用例清单:
[粘贴你的用例]
它给我输出了十几条合并建议,还指出了三个我压根没想到的边界:优惠券并发核销、退款时库存回滚的时序、以及弱网下重复提交。

这一步省了我大概半天的手工梳理时间。

第二步:让ChatGPT写自动化脚本
不是所有用例都值得自动化。我挑了三类:

接口层面的核心链路(下单、支付回调、退款)
数据一致性校验(库存、优惠券、积分)
重复性高的页面操作(登录、搜索、列表翻页)
提示词长这样:

你是一个Python自动化测试专家。请根据以下接口文档和测试用例,生成基于 pytest + requests 的接口测试脚本。

要求:

  1. 使用 fixture 管理登录态和测试数据;
  2. 每个用例独立可运行,不依赖执行顺序;
  3. 断言要具体,不要只断言 status_code;
  4. 对数据库的校验用 SQL 查询,不要直接查接口返回;
  5. 异常场景要 mock 超时和 500 响应。

接口文档:
[粘贴Swagger或手写文档]

测试用例:
[粘贴用例]
它生成的脚本大概能直接用70%,剩下的30%是业务字段和数据库连接需要我改。但比起从零写,快了不止一点。

这一步省了我大概一天半。

第三步:失败日志丢给ChatGPT定位
回归跑完总有几个红的。以前是挨个翻日志,现在直接把报错和上下文丢进去:

以下是一个接口测试的失败日志和请求响应。请帮我:

  1. 判断是代码bug、测试数据问题、还是环境问题;
  2. 如果是代码bug,指出最可能出问题的模块和函数;
  3. 给出下一步排查建议。

失败日志:
[粘贴日志]

请求参数:
[粘贴请求]

响应内容:
[粘贴响应]
它不能100%准确,但能帮我快速排除掉“测试数据脏了”“环境没刷新”这种低级问题。真正需要开发看的bug,我直接把它的分析附在工单里,开发也省事。

这一步省了我大概半天。

效果对比
环节
之前
现在
用例梳理
半天
1小时
脚本编写
1.5天
3小时
执行+排查
1天
1.5小时
合计 3天 约3小时
当然,第一次搭建的时候花了两天调提示词和改脚本。但后面每次回归都在复用,边际成本趋近于零。

几个坑,你们别踩

  1. 不要让它写UI自动化脚本。 页面元素定位它写得一塌糊涂,改的时间比自己写还长。UI层建议用低代码工具或者录制回放。

  2. 数据库连接、密钥这些别粘贴进去。 用占位符代替,自己本地替换。

  3. 它生成的断言经常“太松”。 比如只断言 code == 0,你要手动加字段级校验。

  4. 提示词要迭代。 我上面给的版本是改了五六版之后的。第一版它输出的东西根本不能用,你得根据它的输出不断调整约束条件。

最后说句实在的
ChatGPT不是银弹。它不能帮你点页面,不能帮你连数据库,也不能替你判断业务逻辑对不对。

但它能帮你把重复劳动压缩,让你把时间花在真正需要人脑的地方:设计边界场景、分析复杂bug、判断风险。

回归测试从3天到3小时,省下来的时间我没摸鱼,拿去补了之前一直没空写的契约测试。

这才是重点。

相关文章
|
存储 安全 网络安全
探索网络安全与信息安全:漏洞、加密技术与安全意识
在当今数字化时代,网络安全与信息安全日益受到重视。本文从网络安全漏洞的本质、加密技术的应用以及安全意识的培养三个方面展开探讨,旨在帮助读者更好地了解和应对网络安全挑战。
303 23
|
2月前
|
存储 人工智能 云栖大会
云栖大会 | 阿里云存储 3 大分论坛精彩预告:为 AI 算力提速,为 Agent 数据筑基
「阿里云存储」在云栖,我们将带来 3 场精心准备的分论坛、20+ 热门技术话题、重磅客户悉数到场,一手实战经验拆解。
429 2
|
29天前
|
人工智能 算法 Unix
傲慢≠谦虚=圣爱·七美德体系结构性缺陷·否决一切的AI算法
BSD Step237提出革命性洞见:七罪非程度之分,而是本体论层级之别——六罪是人性六种本能的极端化(仍在人性框架内),唯傲慢是否定人性本身、跳出框架的“反人性罪”。传统以“谦虚”对治傲慢实为结构性缺陷,因其仍是封闭的中庸姿态;真正解药是超越人性的“接受性”:无条件承认子集≠母集、拥抱B=C变化、破除封闭。
515 10
|
2月前
|
Web App开发 安全 应用服务中间件
网站被浏览器报不安全:HTTPS证书链、安全响应头与Mixed Content的排查记录
客户网站突然被浏览器报不安全,排查发现是HTTPS证书链不完整加安全响应头缺失。本文记录了证书链补全、CSP/HSTS等安全响应头配置和Mixed Content修复的完整过程,以及5个实际踩过的坑。
|
2月前
|
存储 人工智能 弹性计算
最新版阿里云AI产品与云产品组合购活动:精选"云+AI"产品组合,组合购享超值优惠价
阿里云推出的云产品组合购活动包括“AI产品组合购”与“云产品组合购”双板块,活动围绕“云+AI”深度融合思路,将Token Plan、Qoder CN、轻量应用服务器、AI建站、视频点播等核心产品打包成十余类场景化套餐,低至3.9折,价格覆盖1元域名到数百元企业级方案,全面覆盖个人开发者、中小企业从入门体验到生产级应用的全场景需求。
355 21
|
27天前
|
人工智能 自然语言处理 JavaScript
多租户埋点别读取全局工作空间:异步上报的上下文快照验收
用户切换工作空间后,异步回调可能读到新的全局空间,造成事件归属错误。用13组合成检查验收上下文快照、退出登录、切换账号和重复回调,说明浅冻结、内存队列及服务端鉴权的边界。
128 5
|
3月前
|
运维 安全 测试技术
宜搭自动化流程未触发?阿里云国际版注册:三步排查条件配置与权限
不少团队把宜搭表单和自动化流程接好后,却卡在一个尴尬环节:数据明明已提交,流程实例却纹丝不动。一条漏触发的流程,可能意味着审批延误、数据“静默丢失”甚至业务断点。宜搭自动化流程未触发排查,最忌讳一上来就推翻配置重做,应该先从现象里抓出条件逻辑和权限的交叉盲区。
413 24
宜搭自动化流程未触发?阿里云国际版注册:三步排查条件配置与权限
|
2月前
|
缓存 负载均衡 Cloud Native
API 网关调度与路由机制:负载均衡、故障切换、多模型路由底层实现
本文深度剖析MaaS网关路由调度机制,对比静态路由、负载均衡、多源故障切换、三级资源路由及KV缓存等5类方案,覆盖15家平台实践。分析各梯队(云厂商/第三方/聚合/轻量)实现差异、适用场景与SLA约束,揭示可用性、一致性与成本间的本质权衡。(239字)
277 0
|
5月前
|
前端开发 JavaScript Serverless
阿里云宜搭对接使用完全指南:六大集成路径深度解析
本文系统性地阐述了阿里云宜搭低代码开发平台与外部系统对接的六大技术路径与实践方案。文章从宜搭的架构特性出发,深入讲解了连接器机制、远程API调用、数据源配置、服务回调、OpenAPI开放接口以及FaaS函数计算集成等核心对接方式。通过详细的配置步骤、丰富的代码示例(涵盖Java、Python、JavaScript、Node.js等语言)和真实业务场景的剖析,帮助开发者全面掌握宜搭的集成能力。文章还涵盖了鉴权配置、跨域处理、性能优化、安全管控等高级话题,并提供了常见问题的解决方案。无论是简单的数据查询同步,还是复杂的业务流程编排,读者都能从中找到适合的对接策略与实施方法。
1074 35
|
4月前
|
人工智能
Qwen3.8抢先体验!正式版即将发布并开源!
千问Qwen3.8即将开源,参数达2.4T,进化速度以“天”计,实力媲美Fable 5。预览版Qwen3.8-Max已上线阿里Token Plan等平台,限时优惠:日间Credits低至1折,夜间更优,个人/团队版月付仅35元起!
6807 231