Anthropic 砍掉了编程面试,跟我们做测试的有什么关系?

简介: 本文探讨AI对编程面试与测试工作的颠覆性影响:Anthropic面试题被Claude“秒杀”,Felix Rieseberg宣布取消编程面试——因AI已拉平基础编码能力,测试价值正从执行转向判断力:设计策略、识别AI缺陷、评估质量风险。饥饿胜过资历,新人借AI快速验证、突破组织惯性。测试人的核心能力——怀疑、验证、兜底——从未过时,反而更关键。

先讲个事。

Anthropic 有个性能团队负责人叫 Tristan Hume,2024 年开始搞了一套 Take-home 测试题,招性能工程师用的,模拟加速器优化,明确允许候选人用 AI。这套题大约 1000 人做过,Anthropic 靠它招了不少人。

然后 AI 开始"做穿"他的题。

Claude 3.7 Sonnet 到了一个临界点,超过一半的候选人要是直接把题甩给 Claude Code,成绩反而比自己做还好。Opus 4 更狠,超过了绝大多数人在 4 小时内能达到的水平。团队赶紧升级到第二版,把时间从 4 小时砍到 2 小时。没过多久,Opus 4.5 又追上来了,2 小时限制下能打到最强人类候选人的水平。

最后没办法,只能重新出题,故意加一些模型没见过的约束、迷你指令集和怪谜题。Hume 自己都说,越像真实开发工作的题目,Claude 越容易做掉。

你做测试的看到这段可能有点眼熟。你费劲设计了一套测试用例,AI 几秒跑完还给你附了边界分析报告。那种感觉,跟 Hume 看着自己精心设计的面试题被 Claude 秒杀,差不多。

编程面试怎么就"死"了
砍掉编程面试的人叫 Felix Rieseberg,Anthropic 的工程经理,也是 Electron 的联合维护者。他带过 Claude.ai、Cowork 和 Claude Code Desktop 的工程团队,之前在 Notion、Stripe、Slack、微软都待过。

他公开说了这么一段话:至少在我负责的团队里,编程面试已经死了。我看得够多了,确定它不再提供有效的判断信号。这个月我把编程面试从招聘流程里取消了。

他的理由其实不复杂。以前一道 React 小题,虽然不能完整衡量一个工程师,但多少能看出这个人定义问题和找方案的能力。现在 AI 在这类任务上已经太强了,用 React 小题测人,跟今天考一个工程师能不能手写汇编差不多。而且团队里最有影响力的人,未必是代码测试成绩最好的那个。

换成测试的话说:一个测试手段要是失去了区分度,留着也没用了。我们天天讲覆盖率、讲有效用例,面试题说白了也是一种测试用例,AI 把通过率拉到天花板,这题就没有筛选意义了。

"饥饿胜过资历"
Rieseberg 取消编程面试之后,他真正想聊的其实是另一个事:AI 能干的活越来越多,年轻工程师和资深工程师之间的差距会变成什么样。

他的判断是 Hunger beats tenure,饥饿胜过资历。

他已经看到了一些入行不久的工程师,靠 AI 快速超过了那些基础更好、年限更长的同行。以前你要攒好几年的框架、库和工具知识,这些东西构成职业壁垒。现在 AI 把这个壁垒削矮了不少。

但 Rieseberg 觉得新人最大的优势还不是 AI 本身,而是他们还没被公司内部的"潜规则"驯化。

他在 Notion 经历过一个事。面试的时候被要求设计离线模式架构,面试官说这题有陷阱,团队普遍认为 Notion 做不了离线:数据模型太复杂,单独下载页面体验又不好。后来证明数据模型确实复杂这个判断是对的,但"创始人不会接受"这个产品限制,其实没那么牢。大家当共识传了很久,很少有人再去问。Rieseberg 刚来不知道这条规矩,偏偏又问了一遍。

好玩的是,一年后他自己也变成了那个跟新人说"别折腾了"的人。他之前想给团队配个大电视放实时 Dashboard,遇到阻力就放弃了。后来新员工 Ji Pei 提了同样的想法,Rieseberg 跟他说我试过不值得搞。Ji Pei 没听,还是去问了,第二天电视就装上了。

Rieseberg 想说的是,经验这东西经常混着两样东西:对真实技术限制的理解,和过去失败以后养成的组织惯性。时间一长,你自己都分不清哪个是哪个了。

做测试久了的人对这个应该深有体会。我们嘴边挂得最多的话是什么?"这块一直不稳别测了""以前试过没用""这个没法自动化"。这些话里有多少是技术上的真约束,有多少是自己失败以后养成的习惯,自己都说不清。新人没这些包袱,反而能看到我们看不见的东西。

两个新人,一个周末,一个爆品
Rieseberg 给年轻工程师的建议挺实在的:先搞清楚业务目标,然后选一个够大胆的想法,花一个周末做个能跑的原型。

Anthropic 内部就有个现成的例子。Claude Code 用量上来以后,内部员工都习惯拿它当命令行工具使。后来两个入职不算久的工程师,Anthony Morris 和 Alice Zhao,一个周末做出了带图形界面的原型。大概 8 天后第一个公开版本就发了。

Claude Code 的图形界面后来相当受欢迎。搁以前这种项目得先写需求文档、争取经理支持、协调产品和设计、再排队等工程资源。AI 让一两个人就能先把东西做出来,拿着成品去证明需求是存在的。

Rieseberg 也提醒了一句,别在原型里塞太多东西。新人容易一口气加十几个功能,最后几个真正值钱的点子被淹没了。原型首先要能沟通,让决策者一眼看到机会在哪,为什么该让你继续干。

不考 Coding 了,那考什么
这是 Rieseberg 被质疑最多的地方。他自己也承认没有完整答案,目前只能在简历和作品集里找小型原型,看候选人的产品品味、用户同理心和思考方式。

社区质疑也挺直白:都知道传统编程面试在 AI 时代失效了,但一场 60 分钟面试里用什么替代,谁也没给出好答案。

有人提了个挺有意思的思路:给候选人一个 AI 写得很自信但其实有错的代码仓库,看他能不能揪出问题、坚持自己的判断。

做测试的看到这个应该笑了。这不就是我们干的活吗?区别只是以前挑人写的代码的毛病,现在挑 AI 写的代码的毛病。怀疑、验证、找问题,干的是同一件事。

当然也有人泼冷水。Anthropic 是 AI 公司,有特殊性,大量传统企业未来很多年还会用算法和代码面试。还有人指出,真正难的不是年轻人能不能借 AI 展现实力,而是他们连简历筛选这关都过不了,毕竟现在不少企业越来越不爱招新人。

别人怎么改的
这场变化刚开始,但方向已经出来了。

OpenAI 走的是混合路线。不同团队可能安排 Pair Coding、Take-home 或者技术测试,有的允许用 AI,有的专门看你不用 AI 时的独立解题能力。他们明确说了,关心的不只是最终答案,还有你怎么分析问题、怎么做决策、怎么解释你的思考过程。

Canva 更激进。去年他们重新设计了 Backend、Frontend 和机器学习岗位的技术面试,直接要求候选人用 Copilot、Cursor、Claude 这些工具。原因很简单,他们把传统基础题丢给 AI 试了一下,几秒钟就出正确答案还带完整解释。继续禁 AI 只会让面试和实际工作越来越远。

Canva 把题目改得更复杂、更模糊,更像真实产品开发。候选人要自己澄清需求、拆任务、指导 AI、检查生成的代码、Debug,对最终方案负责。测了一阵他们发现一个规律:表现最好的人不会把整个任务丢给 AI。他们会自己控制问题边界,只把合适的子任务交给模型,然后不停地审查 AI 生成的代码,模型一犯错就马上接管。AI 经验少的人卡住的地方往往不是写代码,是判断不了 AI 写的东西到底好不好。

国内也有人在做。月之暗面的唐飞虎,做研发也管开发者关系,他说自己面试不拦着候选人用 AI,但会设计必须人机协作才能完成的任务,还故意留问题,看候选人能不能搞明白发生了什么、识别出模型的错误、然后调整方向。

几个数据
Karat 今年调查了美国、印度、中国 400 名工程负责人。美国只有 38% 的企业允许候选人在现场技术面试中用 AI,中国达到 68%。不过整体来看,62% 的组织还是禁止 AI 参与技术面试。

CoderPad 调查了大约 650 名开发者和招聘人员,结果差不多:34% 完全禁止,46% 允许或有条件允许,20% 看情况。

有个数字特别值得看:AI 被允许以后,66% 的招聘方最看重的是候选人能不能发现和修复 AI 的错误。56% 关心能不能解释技术取舍。只有 7% 的人觉得异步技术测试最能反映实际工作能力,技术讨论和 Live Coding 认可度高得多。

跟我们做测试的到底有什么关系
绕了这么大一圈,回到自己的事。

66% 的招聘方把"发现和修复 AI 错误"排在第一位。这个能力拆开来看,不就是测试工程师天天干的活吗?以前验证人写的代码,现在验证 AI 写的代码,怀疑、验证、拿证据说话,干的事没变。AI 能写代码了,但谁保证这些代码是对的?这个角色跑不掉。

Tristan Hume 的面试题被 AI 做穿,同样的事也会发生在自动化测试上。你的脚本、回归用例、接口测试,AI 一样能快速生成。但就像面试题被做穿之后,面试官要的是判断力和设计能力而不是手写代码能力一样,测试的价值也在往上挪,从执行测试挪到设计测试策略、判断质量风险、评估 AI 输出的好坏。

前面 Rieseberg 那个 Dashboard 电视的故事,套在测试老兵身上也成立。我们太容易说"这块不稳别测了""这个没法自动化""以前试过不行"。新人不问能不能做,只问该不该做,然后就去做了。测试团队缺的就是这种劲。

还有一个躲不开的事实:开发面试已经在从"禁止 AI"往"要求用 AI"走了,测试面试从"手写测试用例"往"评估 AI 生成的测试质量"转只是时间问题。Canva 那个发现已经把方向指出来了,最强的人不是把任务全甩给 AI 的,是能控制边界、审查输出、模型犯错时马上接管的。这个本事现在就该开始练。

最后
Rieseberg 说软件工程经历过好几次抽象层级的上移,从汇编到高级语言,从手写基础代码到调框架和云服务,现在 AI 又往上抬了一层。编程面试很难回到过去的地位。

测试其实一样。从手工点到自动化,从自动化到 AI 生成用例,再往下走就是判断 AI 测得到底对不对、全不全、够不够。

工作年限还是意味着经验,但执行能力和年限之间的绑定在变弱。能看懂业务目标、能发现被惯性盖住的问题、能借 AI 快速验证的人,要等的时间会比以前短。

所有人都在用 AI 写代码的时候,保证这些代码正确、可靠、安全的人,会比以前更重要。这活我们熟。

本文部分内容参考了霍格沃兹测试开发学社整理的相关技术资料,主要涉及软件测试、自动化测试、测试开发及 AI 测试等内容,侧重测试实践、工具应用与工程经验整理。

相关文章
|
23天前
|
人工智能 监控 数据挖掘
黑化女作家AI写371本书:一人内容工厂年入668万
一位40岁南非代笔作家,被AI“优化”后用3个月驯服大模型,打造AI出版流水线:20个月出书371本、销量破百万册,2026年收入超100万美元。她将写书工业化——3模型分工、代码盯热词选题、21个笔名A/B测试,并产品化为7大品牌,吸引2400位作者付费。从“被替代”到“卖铲子”,堪称AI时代内容创业的极致样本。(239字)
|
23天前
|
人工智能 自然语言处理 JavaScript
Cypress + AI:自然语言生成端到端测试,脚本维护也能交给 AI 吗?
Cypress AI 正革新端到端测试:Studio 录制操作、Studio AI 智能推荐断言、cy.prompt() 将自然语言转为可执行脚本,支持自愈维护。但AI生成≠测试有效——需结合业务断言、接口验证与人工审核,方能落地企业级回归体系。
|
23天前
|
人工智能 前端开发 JavaScript
让 Claude 帮你点浏览器:10 分钟从零生成一套可运行的 E2E 测试
本文介绍如何用Playwright MCP让Claude“先看页面再写代码”,解决AI凭空猜测导致E2E测试失败的痛点。通过“侦察→生成→执行→修正”闭环,10分钟即可从零产出可运行测试,大幅提升自动化测试效率与可靠性。
|
23天前
|
人工智能 测试技术 BI
Anthropic 要上市了,招股书里藏着一个让中国开发者心寒的数字
Anthropic提交IPO招股书,一面高调讲述Claude Code驱动的“增长神话”:900%净留存、45倍提效、年入331亿;另一面却悄然披露5%-7%收入(约17–23亿美元)来自“违规客户”——含大量续费即封号、不退费的中国开发者。技术闪耀,规则冰冷。
|
23天前
|
人工智能 JSON 测试技术
手把手:把你团队那份《用例编写规范》变成一个 Claude Code 能自动加载的 Skill
本文介绍如何将团队30页《用例编写规范》转化为Claude可自动加载执行的Skill,解决新人记不住、AI不遵守的问题。通过拆分“硬规则”与“参考模板”,六步构建.claude/skills/结构,实现编号格式、三层断言、六类异常等强制校验,大幅提升用例合规率(60%→95%)与生成效率。
|
Kubernetes 容器
k8s容器时间与服务器时间不一致问题
k8s容器时间与服务器时间不一致问题
715 0
|
2月前
|
人工智能 监控 API
阿里云百炼Token Plan完整教程:功能详解、Credits计费规则、API接入配置与业务选型指南
在AI智能体与AI编程工具快速普及的阶段,开发者经常会遇到一个棘手问题:不同大模型、不同工具需要单独购买额度、单独管理API密钥,不同模型采用独立计费体系,多模型混合开发时,成本核算、用量管理、密钥维护都会变得非常繁琐。百炼Token Plan是百炼平台推出的订阅式大模型调用服务,统一使用Credits作为计量单元,一套订阅额度可以覆盖多款大模型、多模态能力以及各类AI编程、智能体开发工具,极大简化多模型项目的开发与成本管理。很多初次接触这套订阅服务的开发者,容易混淆Token Plan与按量计费API的差异,不清楚Credits的抵扣逻辑、7天滚动限额规则,也不了解不同AI工具接入Token
433 1
|
2月前
|
缓存 人工智能 自然语言处理
阿里云千问大模型Qwen3.8-Max介绍:2.4 万亿参数模型,编程与办公能力全面跃升,限时4折起
本文全面拆解阿里云千问旗舰模型Qwen3.8-Max,围绕其2.4万亿参数MoE架构核心特性展开,梳理百万级上下文、原生多模态理解、长程自主规划等核心能力,覆盖六大全球部署区域的功能差异与完整计费体系,重点突出其在编程、办公及法律、金融等专业场景的优势,同步配套新用户免费额度、夜间4折等专属优惠,为开发者提供清晰的选型参考与落地优化指引。
|
2月前
|
人工智能 测试技术 API
OpenAI GPT‑6 Astra深度剖析:能力跃迁、实战演示、成本与第三方评测对比
北京时间2026年9月4日凌晨,OpenAI对外推出新一代旗舰大模型GPT‑6 Astra,官方将它定义为全世界智能水平最高、对齐效果最好的AI模型。在发布前的媒体闭门沟通会上,OpenAI总裁Greg Brockman抛出一句引发整个行业热烈讨论的观点:如今认为人类已经踏入AGI时代,已经算不上是异想天开的想法,欢迎大家来到AGI时代。这句话迅速传遍开发者圈子,也让GPT‑6 Astra成为全球AI领域焦点。
769 0
|
3月前
|
域名解析 监控 网络协议
域名拨测是什么?云解析DNS域名拨测介绍
域名拨测通过多地域、多运营商探测点,发起HTTP/Ping/DNS等请求,实时监测域名解析、延迟与连通性。用于诊断DNS异常、评估访问质量、验证CDN加速效果,并支持自动监控告警。阿里云云解析DNS官网:https://t.aliyun.com/U/h4bNRD
482 0