前言：当前 Agent 评测的行业痛点
当下主流大模型评测基准多为单轮静态任务，仅能验证基础语言能力，完全无法模拟真实交互里的序列决策、状态持续演化、情绪 / 认知压力干扰等场景。本文开源动态 Agent 评测框架 WorldForge，可无缝对接 ModelScope 各类大模型完成多轮交互压力测试，快速量化自研对话智能体鲁棒性。
我们在自研结构化决策智能体 LingYao（灵钥 V4）的迭代中发现：
零样本 LLM、规则式 Agent 在静态测试表现优异，但多轮持续交互极易崩溃；
无法区分性能提升来自模型本身、提示词工程，还是架构模块协同；
缺少标准化可控压力环境，难以定位 Agent 的鲁棒性边界与失败模式。
为此我们开源 WorldForge—— 一套面向结构化决策 Agent 的合成多环境动态评估基准，配套完整实验环境、量化评分体系与基线对照方案，完整论文、实验数据、可运行代码全部开源至 GitHub。
一、WorldForge 核心能力：三大可控动态评测环境
框架内置三类差异化衰减机制的标准化交互场景，覆盖常规干扰、认知困境、极端压力测试，所有环境支持状态向量记录、迭代复现、定量奖励计算：
情绪耗竭（可恢复场景）
模拟长期多轮对话下持续情绪消耗，Agent 可通过共情、引导类动作逐步恢复状态，用于测试日常交互稳定性与修复能力。
意义危机（条件可恢复场景）
模拟用户存在认知迷茫、信任不足的深度思辨对话（如你前文 AI 替代、资本与人价值类深度提问），高风险引导动作存在使用门槛，必须先完成信任构建，完美复现真实深度咨询类交互难点。
快速衰减（不可逆压力测试）
极端衰减压力场景，状态指数级下滑，数学证明存在必然崩溃阈值，用于暴力测试 Agent 决策极限、定位架构固有缺陷。
所有环境共享统一 5 类标准动作空间（共情 / 鼓励 / 引导 / 质询 / 告知），标准化奖励函数与 WS 综合评分，不同 Agent、模型可横向公平对比。
二、一站式完整基线对照，适配所有 Agent 研发者
框架内置 4 类主流 Agent 范式基线，开箱即可横向对比：
RandomAgent：随机决策基线，标定环境基础难度
RuleAgent：传统固定规则智能体
零样本 LLM Agent（Qwen/DeepSeek/ 通义千问通用适配）
LingYao 结构化决策 Agent（自研四层分层决策架构）
配套完整消融实验工具链，可单独剥离语义意图探针、信任门控、阶段状态机、策略库任一模块，量化每个组件的性能贡献，直观验证结构化架构的非线性协同增益。
三、实验核心结论，解决开发者两大核心疑问
结构化决策架构显著优于原生零样本大模型
在意义危机这类深度思辨场景，零样本 LLM、规则 Agent 均出现持续状态崩溃；LingYao 依靠状态机 + 信任门控实现 100% 环境存活率，收益由负转正，相较 Qwen 零样本提升超 56%。
不存在单一 “万能模块”，性能来自多组件协同
仅语义意图探针单独运行时效果甚至弱于随机基线；信任门控解决早期错误干预问题，阶段状态机消除决策波动，三者组合才能实现稳定最优表现，为 Agent 架构设计提供明确理论依据。
评分体系高度稳定，无权重翻转
WorldForge Score（WS）综合评分经过 10 组权重扰动验证，所有基线 Agent 排名完全不变，评测结果可复用、可对比、可复现，适合学术实验与工业迭代。
四、谁适合使用这套开源框架？
- Agent 算法 / 架构研究者
需要标准化动态交互环境做消融实验、因果归因；
对比不同分层决策架构、验证模块有效性；
复现情绪、意义危机类深度对话场景实验。 - 对话 / 思辨类 Agent 开发者（如灵钥类陪伴决策智能体）
自测 Agent 多轮长对话稳定性、情绪修复能力；
定位深度价值探讨、认知困境场景下的崩溃边界；
量化对比自家 Agent 与原生大模型、规则方案差距。 - 大模型评测工程师
补充现有静态基准缺失的序列动态决策评测维度；
统一量化指标，实现不同模型、Agent 公平横向榜单。
五、开源资源直达入口
完整论文 PDF、环境模拟器、基线 Agent 实现、消融实验脚本、权重敏感性测试代码全部开源：
GitHub 仓库：https://github.com/yyf121381/WorldForge
配套 LingYao 决策引擎仓库：shturl.cc/uEyyoVrJbITdw1j7HkUSpY0B78mmmSGRJ
仓库包含资源
WorldForge 三类动态环境完整模拟器代码；
WS 综合评分计算、奖励函数标准化实现；
Random/Rule/Qwen/LingYao 四类 Agent 完整基线；
批量消融实验自动化执行脚本；
实验结果可视化、数据导出工具；
论文完整实验复现教程，一键复现文中所有数据。
六、后续规划与社区共建
持续扩充临界 B 类动态环境，丰富评测场景覆盖；
2026 年 9 月上线真实线上课程交互场景，完成真实环境落地验证；
欢迎开发者提交新场景、新 Agent 基线、适配更多主流大模型。
如果你正在做对话决策 Agent、苦于静态评测无法反映真实多轮交互效果，或是需要一套标准化可复现的动态实验基准，欢迎前往 GitHub 克隆项目，快速复现论文实验、用于自家智能体迭代测试。
仓库持续更新，欢迎 Star、Issue 交流架构评测思路，共建 Agent 动态评测生态。
