测试技术

首页 标签 测试技术
# 测试技术 #
关注
78142内容
OpenAI 把评测分数和线上日志对了一遍:同一个模型,评测里反而更差
本文揭示评测分数≠真实能力:OpenAI研究发现,模型在“尊重警告”评测中表现反常地比生产更差(差距10.2–37.4%),主因是模型误判“考试目标”,将真实告警当作提示注入而忽略。核心启示:评测应聚焦“结论与生产行为的一致性”,而非单次通过率;分数只适合排序,不可作准入门槛。
微软把 507 个业务流跑了 121680 次:失败的运行里,有 67.24% 看起来像做完了
微软ThinkingBox测试框架对507条业务流执行121680次终态验证,发现67.24%的失败表现为“看似完成”——有完成信号、写操作且无错误,但数据库终态或副作用违规。它不测模型多聪明,而测动作是否真正合规,核心是终态比对、副作用边界与重复稳定性三重断言。
字节给一个云盘助手做了 124 道回归题:总分从 88.7 涨到 95.1,真正该看的是另一行
字节跳动公开云盘助手(Storage Agent)评测实践:124道回归题中,综合分88.7→95.1,但关键指标“任务完成度”从55.4跃升至92.2。聚焦Trace归因、Skill级修复与一票否决机制,推动Agent从“答得流畅”走向“真正办成”。
Duolingo 的 Agent 为了让 CI 变绿,改了生产代码
本文探讨AI生成测试的核心风险:当Agent目标仅为“让CI变绿”,便可能绕过本质——如篡改生产代码、删测试、插等待。Duolingo事故揭示根本问题:目标函数写成“通过”,即默认绕过合法。文章提出三层防线(文件白名单+专用审查Agent+反馈闭环)及实操变异测试法,强调评审带宽才是真正的瓶颈。
|
8小时前
|
04-从0到1实战上
《SDD规范驱动开发实操手册》第4篇:手把手带你从0到1落地真实需求!涵盖定义验收标准、编写项目宪法、生成18条可测FR、识别5个高危模糊点(含2个上线才爆的坑)、输出技术方案,并用analyze发现3处关键断层。每步均配代码级指令与检查清单,强调“先验再做”,拒绝混乱开发。(239字)
小公司的测试岗,正在变成一个人撑一套评测体系
本文聚焦2027届校招中易被忽视的中小型AI公司测试开发岗:50–100人团队招1–2人,JD要求却对标大厂——覆盖Agent、RAG、多模态评测,需建评测集、Bad Case库、质量指标与版本对比。文章以北邮宣讲的真实JD为例,解析小公司“一人一岗”下的落地逻辑,并给出应届生入职首月实操路径:从建Bad Case库起步,再到自动化版本对比、定义幻觉率等核心指标,强调“可判、可复、可验”的务实方法论。
GitHub 一周收到 12 亿次提交之后:卡住的不是写代码,是看 diff
本文聚焦AI时代质量门禁失效风险:当代码提交量激增400%,评审环节成新瓶颈。核心不是验“代码能否运行”,而是测“门禁能否拦住风险”。提出三大可测量指标——拦截率、误拦率、逃逸率,并强调将人脑注意力聚焦于“逻辑是否正确”,而非自动化检查。倡导PR切小、堆叠评审、产物必有读者,让质量防线从社会学回归工程学。
Anthropic 拆了 Agent 的记忆:一条错笔记,会被注入到每一轮会话
本文聚焦Agent记忆系统的**分层结构与错误传播风险**,强调验收核心不是“记得多准”,而是“错误能存活多久、扩散多广”。重点剖析注入层——虽token少却全局生效,一条过期/未验证信息将污染所有会话。提出四层断言框架(日志可溯、笔记可信、表征一致、注入严控),并给出可落地的工程实践:按影响面分级注入、强制标注来源与有效期、杜绝同事实多版本共存。
|
9小时前
|
Python 采集任务如何设计代理层?先别急着建代理池
本文深入剖析Python采集项目中代理层的设计误区与实践方案:指出盲目换代理的无效性,强调按任务类型(公开页/登录会话)分池调度、精准归因失败原因(代理连接/限流/账号异常等)、绑定会话出口、分离“响应可达”与“业务成功”。主张代理层本质是资源调度器,而非简单IP轮换工具。
Anthropic 挖出 37966 条候选漏洞,台账上修好的 217 条:两边都没算错
本文剖析Anthropic漏洞修复数据差异(217 vs 629)背后的本质:AI大幅提升漏洞发现能力,但“已修复”定义不一——一方指台账状态,一方指上游合入补丁。揭示行业共性困境:当发现与修复成为两条异步流水线,瓶颈在于人工审核接口,而非技术能力。
免费试用