LLM agent 看起来越来越智能了。但实际上它们可能只是拿到了更多信息。
Agentic 工作流普及以后，LLM 开始被频繁用于迭代优化机器学习模型：提出配置方案、观察实验结果、逐步改进决策。表面上看这像是推理，但一个根本问题悬而未决：系统性能的提升，究竟源于推理能力，还是源于输入端信息的改善？
当前主流优化框架中，信息暴露，即 agent 能看到什么，并未被当作受控实验变量。而上下文的引入方式往往是启发式的，经由提示工程、工具集成或系统层面的设计选择完成。
所以一个归因困境由此产生，不同 agent 系统间观察到的性能差异，反映的可能是信息访问权限的不同，而非模型推理能力的高低。结果既难以归因，也几乎无法跨实现复现。
任何 agentic 优化框架中都有一个核心却常被忽视的设计要素：LLM 可用的上下文。任务描述、评估指标、参数约束、历史优化记录，这些直接左右 agent 对环境的理解和后续配置的生成。
不控制上下文，就无法判断 agent 是在推理还是在对输入信息做条件反射。
ContextEval
ContextEval 正是基于这一思路构建的受控评估框架。它不优化提示本身，而是系统地变更 agent 被允许看到的内容，测量这一单一因素对优化行为的影响。
框架选择的核心任务是超参数优化（HPO）。寻找最优超参数通常是缓慢的手动过程，网格搜索是最典型的例子。但假设一个 LLM 能充当自主工程师，提出配置方案、观察结果、根据选择性揭示的信息修正下一步猜测 它的表现会怎样？
为验证这一设想，实验系统让 agent 在四个机器学习基准的超参数空间中测试，目的在于识别优化过程中哪些信息真正起作用。
给 LLM 更多信息，是否真的改善了优化效果——还是仅仅改变了行为模式？
测试方法
上下文可见性与"上下文策略"
实验固定模型（GPT-4o-mini）和任务，沿四个正交轴变化上下文：任务描述（逐字引用的 Kaggle 竞赛规格说明）、指标暴露（数学评估规则）、参数边界（显式搜索空间约束）、反馈深度（历史长度，1 步或 5 步）。由此构建出包含 16 种上下文策略的全因子网格，每种策略定义了 agent 在每一步中的信息可见范围，并在四个基准上逐一评估。
实验前的模型配置初始化
评估 agent 是否"智能"，起始条件必须受控——一个足够好的初始配置会掩盖推理能力的不足。实验采用 Sobol 采样（256 种配置）对每个任务的性能曲面进行特征化，并从中选取三个分层起始点：低质量（"Broken"，底部 20%）、中等（"Average"，中间区域）、高质量（"Pro"，顶部 20%）。
性能衡量指标为归一化遗憾值（Normalized Regret），即与最优配置间的标准化距离，用以区分真正的优化进步和对糟糕起点的简单修正。
结果
实验结论一致：agent 能看到什么，比它如何推理更重要。
初始化占主导地位
成功的最强预测因子不是 agent 做了什么，而是它从哪个配置出发。起点较差的 agent 快速改善后很快触顶；起点接近最优的改善幅度极小，在 NOMAD 基准上甚至出现退化。
解读：agent 的行为更接近纠错系统而非优化器。
反馈深度悖论及其与初始化的交互效应
提供更长的历史信息（fd=5 vs. fd=1）在所有基准上持续恶化性能，归一化遗憾值上升，Jigsaw 上尤为突出。长串低分记录会"锚定" agent，压缩探索空间，阻碍恢复。
这说明更多信息并不改善推理，反而常常构成约束。差起点下效应最明显——负面反馈层层累积；强起点下差异可忽略。
可行性 vs. 优化质量
加入参数边界后，无效提议减少了 96–100%。但最终性能没有改善。所以遵循规则和在规则内优化是两件事。
与随机搜索的对比
LLM 引导的优化并不稳定地胜过随机搜索。在 Jigsaw——最复杂的基准之一——上，一个盲目选取配置的算法，性能超过了拥有完整上下文和优化历史的 LLM。
也就是说，复杂场景中无信息的随机探索可以优于 LLM 引导的优化。
任务上下文的影响
提供任务描述带来的收益有限，且可能增加不稳定性。性能看起来更多由预训练先验驱动，迭代推理的贡献不大。
所以agent 能快速纠正明显较差的配置，但对已经不错的配置束手无策。
Agent 更智能了，还是只是"信息更充分"？
LLM 重度依赖上下文线索激活预训练先验。收到任务描述或指标信号时，它们从训练数据中推断"合理的"超参数范围，并非根据观察到的反馈做真正的推理。
实践中 agent 的行为模式更接近带反馈的先验驱动启发式方法，而非搜索算法。
Agent 能修复糟糕的配置，但难以在好的配置上做出有意义的改进。
约束被遵循了，约束内的优化却没有发生。明显的参数会被调整，敏感参数（如学习率）则处理得过于保守。
最关键的一点是：agent 往往跑不过随机搜索，复杂任务上尤其如此。这不是推理是部分信息下的模式匹配。
框架的意义
ContextEval 将信息暴露作为受控变量纳入 LLM agent 评估。隔离上下文之后，可以判断性能究竟来自推理还是来自有用元数据的获取，进而改进热启动策略、提升 agent 评估的可靠性、厘清跨系统比较的基础。
更深层的启示在于：未来的基准测试应将上下文可见性作为核心实验因素加以报告。缺少这一维度，LLM agent 的能力边界很容易被高估。
对 AI 评估的启示
不报告上下文可见性基准测试结果就是不完整的。一个在完整上下文下表现良好的 agent 不一定更聪明——它可能只是拿到了更多信息。
原文地址：
https://avoid.overfit.cn/post/b9c0aae8063a41c6a31ead6882b7ecfd
by Hikaru Isayama
