摘要
本文讨论的是 2027 届校招里一类容易被忽略的岗位：中小型 AI 公司的测试开发岗。它们招的人少（往往只招 1—2 个），但 JD 里写的要求跟大厂几乎一样——覆盖 Agent、RAG、智能客服、多模态，要建评测集、Bad Case 库、质量指标、版本对比。文章以一家 2026 年 11 月在北邮宣讲的 AI 公司的真实 JD 为样本，讲清小公司这一套到底怎么搭，以及应届生进去之后第一个月该做什么。
一份校招 JD，我看了两遍才确认自己没看错。
北京星河觉醒智能科技有限公司（对外叫 Awaken AI）2026 年 11 月在北京邮电大学就业资讯网发布的校园宣讲信息里，测试开发工程师岗招 2 人，职位描述六条：
- 参与 AI 产品及大模型应用的测试方案设计与质量保障，覆盖 AI Agent、RAG、智能客服、内容生成、多模态等场景。
- 参与建设 AI 场景下的评测与回归体系，包括评测集、Bad Case 库、质量指标和版本对比机制。
- 设计并落地自动化测试能力，覆盖接口自动化、端到端测试、工具调用链路、多轮对话和异常场景。
- 参与大模型应用的质量评估，关注准确性、稳定性、一致性、幻觉率、召回质量、安全性等核心指标。
- 参与需求评审、技术方案设计与线上质量分析，推动质量问题闭环。
- 参与测试工具链、质量看板、评测平台等建设。
职位要求四条：2027 届本科及以上；熟悉软件测试基础理论与流程；熟练掌握至少一种编程语言（Python／Java／Go／JavaScript）；了解接口测试、自动化测试、性能测试中的一种或多种。
让我确认了两遍的是页面上的公司规模：50—100 人。
一家五十来人的公司，测试开发岗招 2 人，要求里写着"评测集、Bad Case 库、质量指标、版本对比机制"四件套。
这不是个例。把这份 JD 和大厂同类岗位的要求摆在一起看，除了"主导"两个字换成了"参与"、以及没有写"多 Agent 系统"之外，形状几乎是同一个。小公司在用与大厂同一套语言描述测试这件事。
对 2027 届的学生来说，这件事的意义比听起来大。它意味着一个现实：你可能进不了大厂，但你进去的地方也希望你能做"评测"这件事。而小公司做评测，跟大厂做评测，是两件很不相同的工作。
先看清这份岗位招的是"哪一种测试"
职位要求第四条是"了解接口测试、自动化测试、性能测试中的一种或多种，能够独立完成测试用例设计与执行"。
这句话把门槛放在了很传统的三样东西上。没有要求你会训模型，没有要求你做过 Agent，也没有要求你懂 RAG 的实现。
但职位描述里出现了 Agent、RAG、多模态、幻觉率、召回质量、工具调用链路。
这两段的落差，就是这份岗位的真实形状：它要的是一个传统测试基本功过关、但愿意去做一类新型测试的人。
我猜面试大概会长成这样：前半段问你 pytest 怎么写、接口怎么测、用例怎么设计；后半段问你"如果给你一个 AI 客服，你会怎么测"。
后半段不好答。不是因为它难，是因为它没有标准答案，而大多数学生准备的是标准答案。
小公司做评测，跟大厂最大的区别是什么
我总结了三处，都是"人数"直接决定的：
| 维度 | 大厂 | 50 人公司 |
|---|---|---|
| 评测集谁维护 | 专职团队 + 平台 | 可能就是一个人，还是兼职 |
| 数据从哪来 | 线上海量会话、专职标注 | 真实用户量小，只能靠自造 + 少量线上 |
| 判断谁来做 | 业务方签字 + QA 复核 | 你和产品经理两个人对一下 |
| 出了事谁负责 | 流程和评审 | 大概率就是最后一个改这个系统的人 |
第三、四行是关键。大厂可以靠流程把判断分散到几个人身上，小公司做不到——你不能开一个三人评审会，因为那三个人就是全部。
所以小公司做评测，真正的约束不是"数据不够"，而是"判断只能由极少数人做，而且这些人还要同时干别的"。
这一条约束会改变整套设计的形状：
- 评测集不能太大。大到你判不完，就等于没有。
- 判定标准必须能被人快速复用。因为下周判的人可能是产品经理，不是你。
- 版本对比必须自动化。因为没有人会记得上一版是什么样。
那 6 条职责，一个人怎么排
假设你真的进了这样的公司，测试就你一个（加半个产品经理）。六条职责怎么排顺序？
我的建议是按"能不能一个人做完"倒着排，不是按 JD 顺序：
第一件该做的：Bad Case 库（第 2 条里最实的一块）
不用建平台，一个表格就够。字段最少四个：用户原话、系统回答、哪里不对、判断依据。第四个字段最重要，因为它逼你写清"为什么这是问题"——写不出来的，多半不是问题。
小团队做 Bad Case 库有个天然优势：你能看到所有真实反馈。大厂的 QA 看不到原始的用户投诉，你能。所以这一件事在五十人公司反而做得比大厂快。
第二件：版本对比（第 2 条的另一半）
这件事必须自动化，否则不会发生。最小形态是：同一批问题，跑新旧两版，把输出并排放在一张表里，标出哪些变了。不判对错，只标变化。
很多人会跳过这一步去做"质量指标"，我认为顺序反了。先能看出"变了"，再讨论"变好还是变坏"。 前者是事实，后者是判断，判断要花人的时间。
第三件：指标（第 4 条）
幻觉率、准确性、一致性这些词，听起来都能算，实际都要先定义。比如"幻觉率"，你要先回答：什么算幻觉？答错了算不算？答对了但引用了不存在的来源算不算？该拒答却答了算不算？
我在一份公开的 Agent 评测实践里看到一个处理方式值得学：把"能力边界与操作安全"单独作为一个评分维度，而且它是一票否决的——不参与加权，不达标直接判未通过。小团队尤其需要这种"不参与平均"的硬项，因为加权平均在小样本上极不稳定。
第四件往后：接口自动化、端到端、工具链、平台（第 3、6 条）
这些可以慢慢来，而且大部分能靠现成工具解决。一个人做平台建设，重点不是"自己写一个"，是"选一个能用的然后把流程跑通"。
注意这个顺序和 JD 的顺序几乎相反。JD 是写给部门看的，讲的是完整职责；你排的是从零起步的顺序，讲的是先做哪块能最快产生判断力。
面试里怎么答"你会怎么建评测集"
这是这篇里我最想给具体答案的部分。如果你去面这类岗位，被问到这题，不要答"我会用大模型自动生成用例"。
一个能答到点上的框架，四步：
第一步，先说规模。 "我会先做 30 到 50 条，不会一上来做几百条。"——这句话立刻把你和背概念的人分开，因为它说明你想过判得完的问题。
第二步，说这 50 条怎么分。 "按用户会怎么问分几类，每条再标它内部会走哪条路径（要调哪个工具、查哪个知识库）。另外单独留一组'用户没把话说全'的。"——第二条来自真实 JD 里的要求，你自己想不出来，但你做过项目就能验证。
第三步，说合格标准写在哪。 "每条用例写预期行为，不只是预期答案。比如有的题正确答案是'拒答'，有的是'先追问缺的参数'。"——这一步区分"试用"和"评测"。
第四步，说你怎么验证自己的评测集。 "我会让第二个人独立判一遍同一批结果，看一致率。不一致的逐条看，改标准。"
第四步是加分项。绝大多数应届生答不到这里，因为它要求你想过"我的判断本身可靠吗"。
小公司这条路，值不值得走
我不打算说"小公司也能学到很多"这种话，因为它既对又没用。说一个更具体的判断。
这类岗位的真实价值在覆盖广度：你一个人要碰评测集、指标、自动化、工具链、线上分析——六条职责全是你的事。这在五年后的简历上是一个完整的故事："我在一家 AI 产品公司从零建了质量体系"。
真实代价在没有对标：你不知道自己做的评测集算好还是算差，因为你身边没人做过。这个代价不小，它会让你在很多判断上缺少校正。缓解办法只有一个——去看公开的、把口径写清楚的实践，然后拿自己的数去对。
有一件事我建议所有要去小公司的学生提前问清楚，面试时可以问，不冒犯：
"这个岗位上除了我，还有谁负责质量？"
如果答案是"还有半个产品经理帮忙看"，你就该知道自己进去后第一个月要做的是建立判断标准，而不是写自动化脚本。如果答案是"还有两个人，你可以跟他们学"，那是另一条路径。
问这个问题本身也是个信号——它说明你在想"我怎么把事做成"，而不只是"我怎么进去"。
最后一句。这份 JD 里"参与"两个字出现了六次。别把它理解成"打杂"。在五十人的公司里，"参与"通常意味着"这件事就你一个人，所以你是从零参与到你把它做完"。这既是压力，也是这类岗位真正值钱的地方。
本文部分内容参考了霍格沃兹测试开发学社整理的相关技术资料，主要涉及软件测试、自动化测试、测试开发及 AI 测试等内容，侧重测试实践、工具应用与工程经验整理。
