概率不是结论:把 AI 判断接进测试的责任线

简介: Jev 是专为测试自动化中的**决策判断**设计的轻量级模型,不生成文本,而是基于元素表对是非、评分、单选、定位四类题型输出结构化结果与概率分布。它将“该不该重试”“点哪个按钮”等高频判断交由一次前向计算完成,与语言模型分工协作——生成归LLM,决策归Jev。概率仅作证据,断言与阈值由测试代码显式控制,确保可审计、可复现、可配置。

测试自动化里有一类工作,不是生成代码,也不是把话说完。

该不该重试、下一步点哪个按钮、这一步算不算通过。这些工作要的是一个判断,而且最好是带确信程度的判断——不是一段新生成的文字。

Jev 就是为这类工作做的决策模型。它输入当前状态和事先写好的题目,返回结构化结果和概率分布。题型只有四类:是非、评分、单选、定位。请求结束时,调用方拿到的是固定结构加概率,可以直接交给后面的程序。

把它接进 Web UI 自动化,真正值得看的不是它多快多便宜,是它逼着你把一条线划清楚:谁给判断,谁下结论。

判断和生成,是两种不同计算
日常大模型按人类语言优化,输出是一段能继续往下说的文本,一个字一个字往外吐。计算机真正要执行的,往往是类型已经定死的结果:是或否、第几档、选 A 还是选 B。

用卡尼曼的说法,通用模型走的是系统二——长文本、逻辑链、反复斟酌。而软件流程里大量的判断属于系统一:高频、轻、不需要长篇回答。这次失败该不该重试、要不要触发告警、这条数据归哪一类。业内一个估计是这类判断占智能体循环的九成五。

用系统二去做系统一的活,是当前智能体又慢又贵的一个主因。Jev 的位置就是补上这段:一次前向计算,直接输出判定概率,不做逐字生成。

image.png

两者是协作,不是替代。一条链路里,生成交给语言模型,判断交给决策模型。要填进输入框的句子让语言模型写,点哪个框、做哪种操作由决策模型定。

概率只当证据,断言留在代码里
这是整套设计里最该被测试开发看住的一条。

Jev 返回的是"选了谁、有多确信"。它不会宣布"我觉得这一步通过了"。通过与否由测试代码里的 pytest 断言和阈值决定。

核心在于:概率是证据,不是结论。模型交出候选和确信度,拍板的是调用方写的规则。

这条线一旦模糊,测试就变了味。如果让模型自己宣布通过,判据就藏在模型的判断里——不可配置、不可审计、换了版本说不清为什么结论变了。测试的可信基础是判据显式、可复现,把判据外包给一个概率输出,等于把门禁交给了不可解释的东西。

实际上这和人工评审一个道理:证据摆出来,结论由有权限的人签。模型负责把证据备齐,不负责签字。

阈值放在代码里还有个实际好处:可以随风险调。关键路径把阈值设高,宁可多报;边角页面设低一点,减少误报。同一个模型输出,不同阈值适配不同场景——这正是判据该有的形态。

image.png

元素表是边界,模型不能编元素
一步操作怎么转起来,职责分得很干净。

框架让浏览器打开页面,读出当前可见的输入框和按钮。 observe 把这些控件收成一张元素表:序号、角色、标签、当前值,以及它能做的操作。决策模型只能从这张表里选序号,不能自己编一个页面上不存在的元素。

本质上是给模型的判断划了输入域。它能选择,不能创造。页面上有二十八个控件,它就在二十八个里做选择题——这比让它对着一段自由文本猜"该点哪里"可靠得多。

对测试开发来说,这个约束的意义在于可复现。候选集是确定的,输入是确定的,模型的输出才有讨论的基础。失败时你能回答"它当时看到的是哪张表",而不是面对一句含糊的"模型觉得该点这里"。

元素表也决定了能力的天花板。表里看不见的东西——没有名字的图标、画布上的图形——这道选择题就出不来。边界不在模型,在观测。

报告三层,对应结论、证据和复盘
Allure 报告里同一步操作会留下三层记录,设计得很清楚。

image.png

参数表给人看结论,概率给阈值当证据,原文给失败时复盘。三层从粗到细,从结论往下翻,才能核对模型到底看了什么。

核心在于:只有参数表不够。它告诉你模型选了第 12 号元素,不告诉你第 12 号是不是明显优于其他候选。概率这一层让阈值有了依据——选中项 0.9 和选中项 0.35,虽然动作一样,可信程度完全不同。

原文这一层更关键。元素表有没有漏控件、模型是不是在一份过期页面上做的选择,只能回到请求原文对。这和缺陷报告必须有复现步骤是同一个要求:结论要能追到当时的现场,否则失败一次就白一次。

三种方案,差别在页面变化由谁承担
页面会变,这是 UI 自动化一直要解决的问题。三条路线的答案不同。

固化脚本那条路——用语言模型读页面、生成操作过程,然后录成脚本反复执行。生成之后成本低、跑得快。代价在维护期:按钮文案、结构、路径一变,定位就失效,得把语言模型叫回来重新探索。页面越常变,这笔"生成一次、执行很多次"的账越难算平。

每步重选那条路——每一步都对着最新的元素表重新做选择题。按钮文案、位置、层级变了,只要它还在表里,下一次运行不用改脚本。成本从维护期挪到了运行期,单次判断很便宜,但每次都要判一次。

视觉那条路——游戏和部分 PC 端没有可用的 DOM,元素定位做不了。用视觉模型识别截图,能看见布局和图标,费用和延迟按"每一步都要看图"算,是三条里最贵的。

image.png

核心在于:三条路线的分界不是先进不先进,是页面变化的成本由谁承担、在哪个阶段付。选型的依据是页面变化频率和观测条件,不是模型能力强弱。

责任线划清楚,工具才敢用
拿这套东西做测试,判断环节确实被压缩了:不用人来盯每一步点哪里。

但压缩的是执行,不是责任。断言还在代码里,阈值还是人定的,报告还得有人看概率层是否合理,失败还得有人回到原文核对。

实际上这正是测试开发该守的位置。工具把"选谁"这件事做得又快又便宜,但"什么算通过""这个阈值能不能放行""这次失败是不是误报"——这些判断没有因为模型变聪明就转移。

回到那句最该记住的话:概率是证据,不是结论。你的自动化里,模型给出的判断和最终放行之间,有没有一条明确的线?
本文部分内容参考了霍格沃兹测试开发学社整理的相关技术资料,主要涉及软件测试、自动化测试、测试开发及 AI 测试等内容,侧重测试实践、工具应用与工程经验整理。

相关文章
|
8天前
|
Linux Go 开发工具
手机上跑 DeepSeek 智能体:开源安卓客户端 DSH Go 安装与使用指南
DSH Go 是一款开源安卓客户端,将 DeepSeek Harness 智能体引擎装进手机:免 Root、免 Termux,一键安装即用;支持本机运行(内置 Ubuntu+Node.js)或远程接管电脑会话;具备插话打断、过程折叠、屏幕操控、端到端加密分享等特色功能,真正实现智能体“口袋化”。
9784 25
|
8天前
|
弹性计算 人工智能 API
Codex超详细入门指南(下载·安装·登录·上手,全版本覆盖,2026最新版)
建议收藏本教程,2026 全年各版本更新随时回来查阅。如果你在搭建过程中遇到任何问题,欢迎结合 阿里云工单系统 提交技术支持请求,或在 阿里云开发者社区 搜索 Codex 相关话题交流。 祝你编码愉快,效率翻倍!
2756 14
|
3天前
|
人工智能 安全 应用服务中间件
NGINX 爆出两处高危漏洞 可导致未经身份验证的远程代码执行
NGINX曝出两个高危漏洞(CVE-2026-123633和CVE-2026-123007),CVSS 9.2分,均属HTTP/2内存安全缺陷,无需认证即可远程执行代码。影响自2015年起的多个版本,静态站点亦受威胁。修复版本为开源版1.30.7/1.31.9。(239字)
1319 1
NGINX 爆出两处高危漏洞 可导致未经身份验证的远程代码执行
|
6天前
|
传感器 安全 区块链
Windows 电脑运行安卓应用教程:开源工具 ApkStart 双击 APK 即装、独立窗口运行
ApkStart 是一款开源Windows工具,让安卓APP像原生软件一样运行:双击APK即安装、生成真实图标、独立窗口启动、开始菜单可搜索。无需传统模拟器,内置QEMU运行时,支持数据互通、ARM兼容与命令行操作。(239字)
|
11天前
|
人工智能 前端开发 API
阿里云Qwen4-Max 大模型详解:定位、特征、能力、适用场景与相对Qwen3-Max差异解析
2026年11月11日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问AI平台Token Plan并接入千问办公、Qoder等入口。该版本聚焦知识理解、世界感知、编程与Agentic四项升级,主打复杂编程、专业办公、前端设计与专业软件操作等真实任务。预览期为11月11日10:00至11月25日24:00,仅支持Token Plan调用,到期后模型标识下线;限时2折、新用户再享5折,最低1折可体验。
|
11天前
|
JSON 前端开发 API
阿里云最新Qwen4-Max大模型介绍:模型定位、特征、能力、适用场景解析
2026 年 11 月 11 日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问 AI 平台 Token Plan,并同步接入千问办公、Qoder 等入口。该版本聚焦知识理解、世界感知、编程与 Agentic 四项升级,主打复杂编程、专业办公、前端设计与专业软件操作。预览期至 11 月 25 日 24:00,到期后模型标识下线;限时 2 折、新用户再享 5 折,最低 1 折可体验。
|
24天前
|
Linux 开发工具 iOS开发
Codex保姆级教程(下载+安装+登录+使用,含所有版本,2026最新)
Codex是OpenAI推出的开源AI编程智能体,本地运行,可理解整个代码库,支持自然语言指令改代码、执行命令、跑测试、修Bug,兼容Win/macOS/Linux。(239字)
11644 59
|
7天前
|
人工智能 弹性计算 开发工具
零成本玩各大模型!DeepSeek Harness dsh-our-free-model 插件,13 个厂商模型直接用
总结一下:装这个插件,你不用注册、不用绑卡、不用填一个 Key,就能在 DeepSeek Harness 里用上 DeepSeek V4.1 Flash、Kimi K3 这一批前沿模型,而且是白嫖的、还不限量。三步搞定:下载插件,复制包含 `package.json` 的插件目录路径,在「添加插件」里粘贴路径安装并重启。无论是在阿里云 ECS 上通过命令行部署的 Web 版,还是本地的 Electron 桌面端,都能顺利跑通,快速搭建一套零成本的免费模型使用环境。
1406 1
|
4天前
|
人工智能 弹性计算 IDE
Codex超详细入门指南(下载·安装·登录·上手,全版本覆盖,2026最新版)
适合团队落地代码规范,每次提交自动生成评审报告,降低人工CR工作量。同时支持自定义技能脚本,接入团队内部SDK说明文档,让Codex生成符合团队编码规范的代码。Codex三大客户端覆盖本地开发、服务器远程编码、自动化流水线场景,搭配阿里云百炼的Token Plan、Coding Plan,能够低成本搭建稳定可控的AI编码助手。新手建议先从IDE插件入手,熟悉交互逻辑,再尝试CLI版本部署在阿里云ECS,实现云上项目远程编码、批量脚本处理。只要按照步骤完成环境准备、版本选型、密钥对接、项目初始化,就可以把Codex融入日常开发流程,大幅提升代码编写、问题排查、项目重构的效率。
963 0
|
10天前
|
Linux API iOS开发
【DSH】DeepSeek Harness新手保姆教程(下载+安装+配置+使用,2026最新实测)
DeepSeek Harness(dsh)是DeepSeek AI开源的智能体框架,秉持“一切皆插件”理念,支持读文件、改代码、跑命令、处理表格、联网搜索等操作。免费开源,兼容Windows/macOS/Linux,提供桌面端与网页端,可灵活安装插件扩展能力。