业务方给一句需求:上月各品类的 top 品牌成交额及同比。
模型几秒给出一段 SQL,SELECT、FROM、WHERE、GROUP BY 齐全,语法正确,执行有结果。
结果是错的。
错在三个地方。选了看着对但粒度不对的表。按关键词匹配选了同名字段。成交额取了实付金额,没剔退款。
这三类错误有个共同特征。程序不崩溃,不抛异常,日志干净。常规测试一条都拦不住。错误数据安静地流进看板。
对测试开发来说,这是一类特殊缺陷。不是功能失效,是语义失效。断言写出来也没用,因为你不知道正确答案是什么。
一、缺的不是测试代码,是判定标准
判断一个输出对不对,需要一套机制。测试开发里叫测试预言机。传统场景中它来自需求文档、接口约定、上一版本行为。
AI 生成 SQL 的场景里,这些都不在上下文里。
三类高频错误拆开看。
错误类型 表现 根因
选错表 从明细表、汇总表、快照表等十几张相似表里,挑一张看着对的 粒度不同,模型分不清
用错字段 按关键词匹配,选中不符需求的字段 同名字段含义不同,同含义字段名不同
口径对不上 成交额取了实付金额,没剔退款 约定在历史代码和个人经验里,不在文档
换更强的模型有用吗。实测选表和语法的稳定性确实提升,口径仍然偏。因为上下文里从来没有这些约定。模型再强,读不到没给它的东西。
本质是测试预言机缺失。让生成器自己判断对错,它只能猜。
二、把判定标准做成可校验的资产
解法不是补测试代码,是先把业务知识变成结构化资产:可读、可召回、可验证、可迭代。
这类资产装五类东西。
类型 内容
表本体 核心表的职能与粒度
字段语义 同一字段在不同平台下的真实含义
指标口径 分子分母、剔除规则、时间窗口
业务规则 跨平台映射、兜底逻辑、时间版本切换
生产证据 血缘、值域分布、历史写法
有一条设计是分水岭:每条规则可追溯到线上代码的具体位置。
规格如果不能追溯到源码,就无法判断它有没有过期。无法判断是否过期,就不能拿它当测试基准。这是资产和测试资产的分界。
分层也有工程收益。表结构随 DDL 变,口径随业务变,证据随数据变。变化频率不同,混在一起任何一处变动都要全量重建。分层后刷新可以落到具体一层。
三、资产从哪来:自动抽取与三道校验
最重的环节是构建。四种方案摆在一起看。
方案 做法 问题
只给 DDL 提供字段名和类型 只说明表长什么样,没说表怎么用
人工整理知识库 读 SQL、写文档、持续更新 口径一直在变,写完很快过期
文档编译成知识库 把零散文档编译成自然语言知识页 很多口径没有文档;自然语言产物无法和线上代码比对
直接读生产代码 抽取运行中的 SQL 与元数据 产出可校验的结构化规则
先编译再查询的思路和这里一致。但生产里大量需求是语音会议形成共识、协作平台一句话就开工,补齐文档的成本最高。选择直接读生产代码,是因为口径就写在代码里。
入口选核心表加血缘。从业务交付表、看板展示表自动识别出这个场景真正在用的表,人工补充核实。这批表是起点,不是边界。顺着上下游再带出一批,最终本体里四成的表靠血缘分析发现。核心表决定从哪进去,上下游决定能捞回多少。
抽取结果不是自然语言,是结构化三元组。以店铺类型判断为例,一条规则拆成 CASE 组、分支序号、判断条件、结果动作、源码指纹、生产节点 ID。
为什么这么拆。不是模型看不懂自然语言,是自然语言没法校验。一句话描述不出它对应 SQL 哪一段,也说不出有没有过期。写成条件和动作,规则才能和 SQL 分支逐条对上。脚本对齐空格和大小写的写法差异,算出指纹逐条落库,绑定生产节点。
抽完不能直接用。旗舰模型也会编出 SQL 里根本没有的规则。三道关逐个过。
校验 怎么做 挡住什么 对应测试手段
对指纹 抹平空格、大小写后算指纹,同一段 SQL 必然一致 规则张冠李戴 快照比对
回溯 SQL 每条规则拿回生产 SQL 找对应分支,找不到就删 模型凭空编规则 源码溯源
查格式 字段填全、格式正确 资产残缺不可用 schema 校验
品牌案例中人工写的规则模型全部抽到,指纹条条对得上。留下的关键分支规则也都能回溯到 SQL,没有多余条目。
自动生成的测试资产必须先证明自己可信,才能拿去验证被测对象。模型会编规则,确定性脚本不会。
人工只在两处介入。核心表第一次进资产库时复核一遍;线上发现生成不对时,判断是不是资产本身的问题。其余的拉元数据、抽规则、对指纹、回溯、表刷新后重新检查,机器自己跑。
四、把资产送进生成链路:按需供给,不写死约束
资产库里上千条规则,全塞进上下文会稀释关键信号。上下文的物理容量和有效容量是两回事,塞满无关信息的长上下文,有效容量可能不如裁剪过的短上下文。
做法是按需召回。品牌需求那次是七路并行,相似实现、时间切换、血缘、值域画像、表族信息一起查。相关度最高的表本体没有全复制,只挑和本需求相关的规则。挑出来的恰好是这个需求最容易踩坑的地方。
这里有个刻意的设计:召回给材料,不给硬规则。
早期把规则写成必须遵守的指令,结果模型从会推理的工具退化成规则执行器。规则没覆盖的情况它就不处理了,生成质量不升反降。
核心在于把约束放在证据层,不放在行为层。资产负责把事实找全,怎么用交给模型判断。与其用更多约束堵错误的出口,不如把该看的资料找全。
另一条同样重要:召回是确定性程序逻辑,召回什么不由模型临场决定。同一个需求跑多少次,输入都一样。测试输入必须可复现,否则缺陷无法回归。
五、资产不能静态:三条反馈链路
静态资产一定会老化。代码重构了知识没跟上,口径变了规则还是旧的。
三条链路把真实使用中的修正持续回注。
链路 数据来源 回流什么
研发修改 diff AI 初稿与上线 SQL 的对比 人工补的字段、过滤、join、CASE WHEN、口径修正
评测集驱动 扣分 case 的四类归因 补规则、补证据、调召回
线上使用日志 提问、结果、失败日志、人工修正 场景规则与使用约束
归因四分是这套机制里最值钱的部分,因为它决定修复落点。
归因 修复动作
资产缺口 补规则
召回不足 调检索
模型误用 改提示或换模型
需求隐含条件 补需求侧信息
混在一起修,会出现提示词反复改、问题反复在的情况。
反馈汇入池,人工确认后写回资产库。
资产还要和平台解耦。标准化成 Turtle、JSON、Markdown 加索引文件,SQL 生成日志、采纳统计、反馈、回归测试都是独立 Python 模块,平台只留薄入口。换工具不换知识,业务知识才能沉淀成团队资产,而不是某个工具的附属品。
六、验证:分层评测和发布门禁
方案做出来不等于有效。
评测集的 case 全部来自真实业务工单,每条带完整上下文,并绑定已上线的生产 SQL 作为标准答案。定时抓取加分类自动入库,随需求增长持续扩充。
检测分五层递进,从语法一路查到数据结果。
层级 检查内容
语法 关键字拼写、括号闭合、函数参数完整性
选表 所选表是否正确
字段 有无缺漏、口径是否一致、聚合是否正确
业务规则 提取标准答案的 CASE WHEN、WHERE、JOIN 节点,逐条在生成 SQL 中定位
数据结果 输出表与标准答案的运行结果对比
本质是分层测试。前两层是静态检查,中间两层查结构对齐,最后一层才是行为等价。越往下越贵,也越接近真实正确性。
两条硬规则控制评测本身的可靠性。
禁止读标准答案 SQL,也禁止通过节点 ID 反查代码。否则生成器直接复用答案,分数再高也说明不了问题。这和测试里隔离被测对象与预期结果是同一件事。
只读当前版本资产,禁止读其他版本、共享生产版本或个人工作区版本。版本间才有可比性。
打分用来量化不同版本资产的差异,最终结论用通过或不通过的二分结果做门禁。权重和八条真实 case 的实测结果放在一起看。
维度 权重 无资产 有资产 变化
语法 10 8/8 8/8 持平
选表 20 7/8 8/8 +1
字段 20 4/8 7/8 +3
业务规则 40 2/8 3/8 +1
数据结果 10 2/8 2/8 持平
业务规则权重最高,因为它是当前最薄弱的环节,也是资产价值最集中的地方。
字段层提升最明显。业务规则只涨一条,但每条 case 含多条规则,按全部命中计分。拆开看,没有资产时映射规则基本全错,代码不可用;有资产后,原来靠猜的分支被历史代码和值域分布补齐,完整度改善明显。数据结果一栏没动,说明规则对齐不等于端到端正确,中间还有字段和逻辑的叠加误差。
结尾
这套体系划出的分工线很清楚。
可复现、可追溯的校验交给脚本和资产库。需要理解业务意图的部分留给人。
测试开发在这条边界上的工作,不是写更多断言,而是把什么算对从个人经验里挖出来,变成机器能查、能比对、能随代码更新的资产。资产更新到什么程度,测试结果就可信到什么程度。
本文部分内容参考了霍格沃兹测试开发学社整理的相关技术资料,主要涉及软件测试、自动化测试、测试开发及 AI 测试等内容,侧重测试实践、工具应用与工程经验整理。