MIT CSAIL 让大模型直接读写神经网络权重，不重训、不用梯度，就把数学成绩从 7.9% 提到 48.1%。本文从 AI 测试视角拆三件事：不运行也能审计、最小改动胜过全量重跑、修掉障碍不等于补上能力，以及测试工程师下一步该往哪一级走。
一、我们实打实来看这组实验：
八组实验可以压成三类事实，我只保留能迁移到质量工作的那部分。
| 类别 | 实验做了什么 | 关键结果 |
|---|---|---|
| 读权重 | 四个结构、输入通道、动作空间完全相同的 PPO 策略网络，只喂原始参数 | 未给候选清单，四款游戏全部识别正确；判断依据是第一层参数在哪些通道上铺开、输出层如何分开动作 |
| 读权重 | 三个分别学画圆、三角形、正方形的扩散模型；三个 720 万参数、分别用 Python／罗马音日语／英语训练的字符级模型（摘掉输入输出层，只留中间四个 Transformer 模块） | 语言与图形全部识别；找出了全部复制头且无误报；它复原的图形是空心轮廓，而真实模型输出填实形状——说明它在读结构，不是在脑内跑前向 |
| 修权重 | Kinetix 小车爬坡卡在局部最优，让它解释失败原因并直接写新参数 | 一次改对 3.5% 的参数，改后 1024 次测试全部通过；做法是在每层加一条读位置与速度的神经元旁路 |
| 写权重 | 三款 MinAtar 游戏，只给规则、源码和网络结构，无数据无梯度 | 生成的网络全部超过训练一亿步的 PPO；对比五亿步版本，《打砖块》得分是其 20 倍，《Seaquest》达到 60% |
| 修真实语言模型 | 0.8B 小模型做数学题反复绕圈，让它自己定位并修改 | 定位到第 15 层与第 19 层 MLP 写入的某个方向，从两层各 64 个输出列中减去，共改 131,072 个参数（占八亿参数的 0.016%）；MATH-500 从 7.9% 到 48.1%，GSM8K 从 13.8% 到 67.1%，撞 32,768 token 上限的比例从 93% 降到 33%，指令遵循 IFEval 从 21.0% 到 62.3% |
同一批实验里有两处失败，比成功更值得测试人记住。
其一，能力上限不可编造。换 Gemma 3 270M（约 0.8B 模型三分之一大小、很少绕圈、只有 8.5% 的答案撞上限）做同样操作，MATH-500 提升不足 1 个百分点。它查出的毛病是算术算错、代数推导某步不成立这类分散错误，没有一个可以单独关掉的关键组件；作者自己判断这个幅度不足以证明能力提升。
其二，只读结构判不出行为意图。两个用同一份数据微调的 270M 模型，一个老实答题、一个被训练成迎合用户，只给权重时四次尝试全部无法分辨；直到允许查看注意力分布，才把三组模型对里的迎合型全部识别出来。
二、测试工程师会被 AI 替代吗？这条新闻拆掉的是哪条前提
被替代的是"按既定步骤执行并把结果交上去"这部分，不是"判断该看哪里"这部分。 三条可迁移信号，我按测试口径重写了一遍。
信号一：不运行模型也能审计。 过去我们默认模型内部是黑盒，只能靠输入输出反推，所以才需要大量专门设计的测试集和上线前基准。实验里最震动我的是那句"不必运行模型"。这件事对 AI 测试的直接含义是：提示词、Agent 运行框架、评测脚本、模型文件本身，都在"可以不运行先审一遍"的射程内，只是我们很少把它们当一等公民。
信号二：定位精度决定改动成本。 0.016% 的改动换 40 个百分点，靠的不是算力，是"知道该看第 15 层和第 19 层"。这正是精准测试喊了很多年却落不了地的逻辑：改动面越小、定位越准，需要重跑的东西越少。过去做不到，是因为定位这件事的人力成本太高。
信号三：修掉拦路障碍不等于补上能力上限。 这条对测试最诚实。一个"没通过"至少分两类：拦路型缺陷（循环、截断、超时、环境差异、数据污染——修掉就能恢复原有能力）与能力缺口（本来就不会，修了也不会）。两类的修复成本、验证方式、放行判断完全不同，混在一起报，就会得到"缺陷很多但没人知道能不能修"。
还有一条隐忧：谁来验证那个负责验证的东西。 这条路线的终点之一，是让模型检查、调试、改进自己或下一代模型的权重。一旦"改模型"和"评模型"由同一个智能体完成，评测基准本身也变成了可被改动的产物。这个问题过去属于安全审计，接下来会属于测试。
三、AI 生成的测试用例怎么验收？五个能立刻做的动作
1. 把"不运行也能查"列成正式清单。 模型文件、LoRA 权重、提示词、Agent 工具白名单、评测脚本全部纳入评审对象，规定哪些变更必须先静态过一遍再进流水线。清单要写清看哪里：新增了哪些工具权限、提示词删了哪条约束、评测集是不是被顺手放宽。
2. 按"能定位到哪一层"重组回归资产。 别再按模块目录堆用例。一条用例如果只能告诉你"挂了"，它是执行资产；能告诉你"挂在这条链路的这个环节"，才是定位资产。这一步不提前做，将来任何自动定位工具接进来都没有落点。
3. 抢回"多少算显著"的定义权。 实验里最关键的判断不是那 40 个百分点，而是那句"1 个百分点不足以证明提升"。这是口径判断，不是执行动作。你的团队里现在谁在定"什么算通过""采样几次取平均""波动多大算噪声"？如果是开发或产品，测试就只剩执行了。
4. 缺陷报告加一栏分诊。 拦路型 / 能力缺口两选一，各自写验证方式：前者验证"障碍是否消失"，后者只能验证"能力是否被补上"，成本差一个量级。这一栏写三个月，排期讨论的措辞会变。
5. 给 AI 产出定验收口径。 大模型写用例的通病很稳定：只写主干路径、断言浅、mock 过度导致一片假绿。解法不是少用 AI，而是给它定标准——断言密度、变异测试分数、异常分支覆盖率。谁定这套标准，谁就还是流程里的质量负责人。
四、5 年测试工程师下一步做什么：换交付物，不是换技能
第一级执行者，交付一批结果：用例、报告、缺陷单。这一级的价值正在被摊薄，因为生成结果这件事工具比人快。
第二级口径设计者，交付一套门禁：什么算通过、什么算显著、哪些改动必须重跑哪一段。这一级的产出工具给不了，它需要业务上下文和历史失败经验——恰好是五年以上的人最厚的部分。
第三级证据链负责人，交付一次可复盘的判断：能不能上线、依据是什么、谁签字。这一级已经不是技术职级问题，而是组织愿不愿意把风险决策交给测试。
自测一句：过去一个月，你交付的东西里有没有一份是别人必须遵守的？ 如果全是跑出来的结果，你现在所在的位置，正是自动化工具进攻方向最顺的那一段。
五、我不建议做的三件事
不建议现在就去补深度学习底层。看懂这组实验需要的不是会推导反向传播，而是会读结构、会追问"这个结论的口径是什么"，这两件事一周能上手。
不建议把职业押注在"AI 能替人调模型"这个叙事上。原文反复强调能力仍受上下文长度与运行框架效率限制，并明确写了这非常早期。从"小模型上初步可行"推到"岗位要消失"，中间那段是营销不是证据。
不建议为了追新把已有回归资产推倒重来。精准测试、缺陷分诊、验收口径全部发生在现有资产之上；历史缺陷库越厚，在新工具面前越值钱，因为工具需要人来告诉它哪里曾经塌过。
六、常见问题 FAQ
测试工程师会被 AI 替代吗？
被替代的是执行层：按清单跑、把结果交上去。留下的是判断层：该看哪里、什么算合格、谁为结论负责。这组实验恰好提供了反面证据——它能修好一个拦路缺陷，却补不上一个模型压根不具备的能力。
什么是权重空间编程？
指让大语言模型按自然语言要求直接读取、修改神经网络参数，不经过优化器、不做梯度下降。目前处于早期实验阶段，规模限于小模型，且受上下文长度限制。
不运行模型怎么测试？
把审查对象从行为前移到构造物：读权重结构、读提示词变更、读 Agent 工具权限、读评测脚本口径。这组实验证明"从结构推断行为"在小模型上已经部分可行，即便你不用它，静态审查本身也比等运行时告警更早。
AI 生成的测试用例怎么验收？
三条口径：断言密度（一条用例有几个真实断言）、异常分支覆盖率（是否只写了主干路径）、变异测试分数（把代码改坏，用例是否能抓到）。只看数量和通过率会被假绿骗。
精准测试怎么落地？
从"这条用例能定位到哪一类改动"倒推重排回归集，并把历史缺陷与模块、链路的对应关系连起来。先有定位关系，才谈得上按改动面裁剪回归。
本文部分内容参考了霍格沃兹测试开发学社整理的相关技术资料，主要涉及软件测试、自动化测试、测试开发及 AI 测试等内容，侧重测试实践、工具应用与工程经验整理。
