先讲个事。
Anthropic 有个性能团队负责人叫 Tristan Hume,2024 年开始搞了一套 Take-home 测试题,招性能工程师用的,模拟加速器优化,明确允许候选人用 AI。这套题大约 1000 人做过,Anthropic 靠它招了不少人。
然后 AI 开始"做穿"他的题。
Claude 3.7 Sonnet 到了一个临界点,超过一半的候选人要是直接把题甩给 Claude Code,成绩反而比自己做还好。Opus 4 更狠,超过了绝大多数人在 4 小时内能达到的水平。团队赶紧升级到第二版,把时间从 4 小时砍到 2 小时。没过多久,Opus 4.5 又追上来了,2 小时限制下能打到最强人类候选人的水平。
最后没办法,只能重新出题,故意加一些模型没见过的约束、迷你指令集和怪谜题。Hume 自己都说,越像真实开发工作的题目,Claude 越容易做掉。
你做测试的看到这段可能有点眼熟。你费劲设计了一套测试用例,AI 几秒跑完还给你附了边界分析报告。那种感觉,跟 Hume 看着自己精心设计的面试题被 Claude 秒杀,差不多。
编程面试怎么就"死"了
砍掉编程面试的人叫 Felix Rieseberg,Anthropic 的工程经理,也是 Electron 的联合维护者。他带过 Claude.ai、Cowork 和 Claude Code Desktop 的工程团队,之前在 Notion、Stripe、Slack、微软都待过。
他公开说了这么一段话:至少在我负责的团队里,编程面试已经死了。我看得够多了,确定它不再提供有效的判断信号。这个月我把编程面试从招聘流程里取消了。
他的理由其实不复杂。以前一道 React 小题,虽然不能完整衡量一个工程师,但多少能看出这个人定义问题和找方案的能力。现在 AI 在这类任务上已经太强了,用 React 小题测人,跟今天考一个工程师能不能手写汇编差不多。而且团队里最有影响力的人,未必是代码测试成绩最好的那个。
换成测试的话说:一个测试手段要是失去了区分度,留着也没用了。我们天天讲覆盖率、讲有效用例,面试题说白了也是一种测试用例,AI 把通过率拉到天花板,这题就没有筛选意义了。
"饥饿胜过资历"
Rieseberg 取消编程面试之后,他真正想聊的其实是另一个事:AI 能干的活越来越多,年轻工程师和资深工程师之间的差距会变成什么样。
他的判断是 Hunger beats tenure,饥饿胜过资历。
他已经看到了一些入行不久的工程师,靠 AI 快速超过了那些基础更好、年限更长的同行。以前你要攒好几年的框架、库和工具知识,这些东西构成职业壁垒。现在 AI 把这个壁垒削矮了不少。
但 Rieseberg 觉得新人最大的优势还不是 AI 本身,而是他们还没被公司内部的"潜规则"驯化。
他在 Notion 经历过一个事。面试的时候被要求设计离线模式架构,面试官说这题有陷阱,团队普遍认为 Notion 做不了离线:数据模型太复杂,单独下载页面体验又不好。后来证明数据模型确实复杂这个判断是对的,但"创始人不会接受"这个产品限制,其实没那么牢。大家当共识传了很久,很少有人再去问。Rieseberg 刚来不知道这条规矩,偏偏又问了一遍。
好玩的是,一年后他自己也变成了那个跟新人说"别折腾了"的人。他之前想给团队配个大电视放实时 Dashboard,遇到阻力就放弃了。后来新员工 Ji Pei 提了同样的想法,Rieseberg 跟他说我试过不值得搞。Ji Pei 没听,还是去问了,第二天电视就装上了。
Rieseberg 想说的是,经验这东西经常混着两样东西:对真实技术限制的理解,和过去失败以后养成的组织惯性。时间一长,你自己都分不清哪个是哪个了。
做测试久了的人对这个应该深有体会。我们嘴边挂得最多的话是什么?"这块一直不稳别测了""以前试过没用""这个没法自动化"。这些话里有多少是技术上的真约束,有多少是自己失败以后养成的习惯,自己都说不清。新人没这些包袱,反而能看到我们看不见的东西。
两个新人,一个周末,一个爆品
Rieseberg 给年轻工程师的建议挺实在的:先搞清楚业务目标,然后选一个够大胆的想法,花一个周末做个能跑的原型。
Anthropic 内部就有个现成的例子。Claude Code 用量上来以后,内部员工都习惯拿它当命令行工具使。后来两个入职不算久的工程师,Anthony Morris 和 Alice Zhao,一个周末做出了带图形界面的原型。大概 8 天后第一个公开版本就发了。
Claude Code 的图形界面后来相当受欢迎。搁以前这种项目得先写需求文档、争取经理支持、协调产品和设计、再排队等工程资源。AI 让一两个人就能先把东西做出来,拿着成品去证明需求是存在的。
Rieseberg 也提醒了一句,别在原型里塞太多东西。新人容易一口气加十几个功能,最后几个真正值钱的点子被淹没了。原型首先要能沟通,让决策者一眼看到机会在哪,为什么该让你继续干。
不考 Coding 了,那考什么
这是 Rieseberg 被质疑最多的地方。他自己也承认没有完整答案,目前只能在简历和作品集里找小型原型,看候选人的产品品味、用户同理心和思考方式。
社区质疑也挺直白:都知道传统编程面试在 AI 时代失效了,但一场 60 分钟面试里用什么替代,谁也没给出好答案。
有人提了个挺有意思的思路:给候选人一个 AI 写得很自信但其实有错的代码仓库,看他能不能揪出问题、坚持自己的判断。
做测试的看到这个应该笑了。这不就是我们干的活吗?区别只是以前挑人写的代码的毛病,现在挑 AI 写的代码的毛病。怀疑、验证、找问题,干的是同一件事。
当然也有人泼冷水。Anthropic 是 AI 公司,有特殊性,大量传统企业未来很多年还会用算法和代码面试。还有人指出,真正难的不是年轻人能不能借 AI 展现实力,而是他们连简历筛选这关都过不了,毕竟现在不少企业越来越不爱招新人。
别人怎么改的
这场变化刚开始,但方向已经出来了。
OpenAI 走的是混合路线。不同团队可能安排 Pair Coding、Take-home 或者技术测试,有的允许用 AI,有的专门看你不用 AI 时的独立解题能力。他们明确说了,关心的不只是最终答案,还有你怎么分析问题、怎么做决策、怎么解释你的思考过程。
Canva 更激进。去年他们重新设计了 Backend、Frontend 和机器学习岗位的技术面试,直接要求候选人用 Copilot、Cursor、Claude 这些工具。原因很简单,他们把传统基础题丢给 AI 试了一下,几秒钟就出正确答案还带完整解释。继续禁 AI 只会让面试和实际工作越来越远。
Canva 把题目改得更复杂、更模糊,更像真实产品开发。候选人要自己澄清需求、拆任务、指导 AI、检查生成的代码、Debug,对最终方案负责。测了一阵他们发现一个规律:表现最好的人不会把整个任务丢给 AI。他们会自己控制问题边界,只把合适的子任务交给模型,然后不停地审查 AI 生成的代码,模型一犯错就马上接管。AI 经验少的人卡住的地方往往不是写代码,是判断不了 AI 写的东西到底好不好。
国内也有人在做。月之暗面的唐飞虎,做研发也管开发者关系,他说自己面试不拦着候选人用 AI,但会设计必须人机协作才能完成的任务,还故意留问题,看候选人能不能搞明白发生了什么、识别出模型的错误、然后调整方向。
几个数据
Karat 今年调查了美国、印度、中国 400 名工程负责人。美国只有 38% 的企业允许候选人在现场技术面试中用 AI,中国达到 68%。不过整体来看,62% 的组织还是禁止 AI 参与技术面试。
CoderPad 调查了大约 650 名开发者和招聘人员,结果差不多:34% 完全禁止,46% 允许或有条件允许,20% 看情况。
有个数字特别值得看:AI 被允许以后,66% 的招聘方最看重的是候选人能不能发现和修复 AI 的错误。56% 关心能不能解释技术取舍。只有 7% 的人觉得异步技术测试最能反映实际工作能力,技术讨论和 Live Coding 认可度高得多。
跟我们做测试的到底有什么关系
绕了这么大一圈,回到自己的事。
66% 的招聘方把"发现和修复 AI 错误"排在第一位。这个能力拆开来看,不就是测试工程师天天干的活吗?以前验证人写的代码,现在验证 AI 写的代码,怀疑、验证、拿证据说话,干的事没变。AI 能写代码了,但谁保证这些代码是对的?这个角色跑不掉。
Tristan Hume 的面试题被 AI 做穿,同样的事也会发生在自动化测试上。你的脚本、回归用例、接口测试,AI 一样能快速生成。但就像面试题被做穿之后,面试官要的是判断力和设计能力而不是手写代码能力一样,测试的价值也在往上挪,从执行测试挪到设计测试策略、判断质量风险、评估 AI 输出的好坏。
前面 Rieseberg 那个 Dashboard 电视的故事,套在测试老兵身上也成立。我们太容易说"这块不稳别测了""这个没法自动化""以前试过不行"。新人不问能不能做,只问该不该做,然后就去做了。测试团队缺的就是这种劲。
还有一个躲不开的事实:开发面试已经在从"禁止 AI"往"要求用 AI"走了,测试面试从"手写测试用例"往"评估 AI 生成的测试质量"转只是时间问题。Canva 那个发现已经把方向指出来了,最强的人不是把任务全甩给 AI 的,是能控制边界、审查输出、模型犯错时马上接管的。这个本事现在就该开始练。
最后
Rieseberg 说软件工程经历过好几次抽象层级的上移,从汇编到高级语言,从手写基础代码到调框架和云服务,现在 AI 又往上抬了一层。编程面试很难回到过去的地位。
测试其实一样。从手工点到自动化,从自动化到 AI 生成用例,再往下走就是判断 AI 测得到底对不对、全不全、够不够。
工作年限还是意味着经验,但执行能力和年限之间的绑定在变弱。能看懂业务目标、能发现被惯性盖住的问题、能借 AI 快速验证的人,要等的时间会比以前短。
所有人都在用 AI 写代码的时候,保证这些代码正确、可靠、安全的人,会比以前更重要。这活我们熟。
本文部分内容参考了霍格沃兹测试开发学社整理的相关技术资料,主要涉及软件测试、自动化测试、测试开发及 AI 测试等内容,侧重测试实践、工具应用与工程经验整理。