一项覆盖 18,000+ 条智能体轨迹的系统实验发现——智能体得分的方差里约 54% 是跑次噪声而非配置差异；在五条配置轴（信息/推理保留/自我验证/预算/模型强度）里，「给智能体什么信息」的效应超过模型强度和运行预算，排第一。
arXiv 2610.01618 · Agents Are Systems, Not Models · 2026-10-01
arXiv 2610.01618 · Agents Are Systems, Not Models: Rethinking Agentic Evaluation · 2026-10-01
这篇论文做了什么
智能体评测已经从「只看成功率」进化到关注成本、一致性、鲁棒性。但有个盲区：评测普遍把智能体当固定对象看待。实际上智能体是可配置系统——用户决定告诉它什么、让它跑多久、用什么模型，每个选择都影响结果。
研究团队设计了一个受控实验：四个科学任务（天体物理与基因组学）+ 一个基准：智能体必须调用领域专家模型解决任务（通用模型无法凭知识解决），产出与专家模型的参考分数对比。然后沿五条配置轴系统变化：
- 给智能体的信息（任务说明的详略） 2. 是否保留跨步骤的推理 3. 被要求自我验证的强度 4. 运行时预算 5. 骨干模型的强度
每个配置跑多次（共 18,240 条轨迹全部开源），分离信号与噪声。
四个发现
发现一：智能体的结果天然是噪的。 真实尝试的得分方差里约 54% 是跑次噪声——同一配置跑两次，分数可能差一截。这意味着：不报方差的单次智能体评测基本没有意义；「我们的智能体比你们高 3 分」这类宣称，需要多次运行的置信区间支撑。
发现二：信息轴效应最大，超过模型与预算。 给智能体的信息量对得分的贡献排第一——超过骨干模型强度、超过运行预算。而且信息更足还同时降低成本和运行时间、改善校准（智能体对自己答案的信心更准）。
发现三：配置轴之间有交互，不能孤立调。 加预算主要在「信息足够」时提升分数——信息不足时加预算甚至降分（智能体拿时间空转）。轴与轴不独立，单独调一轴可能被另一轴卡住。
发现四：有些行为提示词管不动，得靠系统设计。 「自我验证」这类行为，用户在提示词里怎么催效果都有限——但给它一个专门的验证工具，行为立刻显著改变。结论：这类行为应该在系统层设计（提供工具/机制），而不是指望提示词。
为什么这篇值得读
- 「智能体是系统不是模型」有了数据支撑——这个论文标题里的论断被 18k 轨迹的实验落地成可操作的结论 2. 给评测者提了醒：跑次噪声占一半方差，单次跑的智能体榜单要重新审视 3. 给构建者提了顺序：与其先纠结换更强的模型，先把「给智能体的信息」这件事做对——这是最便宜的增益来源 4. 行为设计归位：验证类行为交给系统工具而非提示词，这是智能体工程的设计原则
与 BuddyMe 的经验印证
这篇的四个发现在我们的工作流实践里都有对应：每步落盘与可回溯（信息轴——任务链中每步给智能体的上下文是设计重点）；多轮任务跑多次取稳定结论而非单次判优（噪声发现）；验证环节做成显式工序而非提示词叮嘱（发现四——BuddyMe 工作流的验证步骤独立成节点）。每天免费 4500 万 Token 的额度，够把「同一任务多配置对照」这种实验成本打下来——智能体调优先跑对照实验，是这篇给所有构建者最实用的建议。
BuddyMe 每日免费 4500 万 Token。
