Agentforce DX Agent 测试指南

简介: 使用 Agentforce DX 进行 Agent 测试的完整指南。涵盖专业代码测试流程:生成 Test Spec、自定义上下文变量和质量指标、添加 JSONPath 自定义评估和对话历史、创建测试并部署到组织、通过 CLI 和 VS Code Testing Panel 运行测试,以及理解 Subagent/Action/Outcome/Metrics 四类测试结果。

测试 Agent

注意:本节介绍的是传统 Agent 测试流程,即使用传统 Agentforce Testing Center 的专业代码等价方式。新的 Agent 测试流程(Agentforce Studio 中的新 Testing Center Beta)的文档即将发布。

专业代码 Agent 测试流程

测试 Agent 就是向它发送问题、陈述或命令(Utterances,话语),然后验证 Agent 的响应行为是否符合预期。使用 Agentforce DX 测试 Agent 是在开发组织中使用 Agentforce Testing Center UI 的专业代码等价方式。与任何软件开发一样,测试 Agent 是一个迭代过程。

测试流程

完整的测试生命周期

  1. 生成测试 Spec:使用 agent generate test-spec CLI 命令,创建描述一个或多个测试用例的本地 YAML 文件。

  2. 自定义测试 Spec YAML:添加更多测试项,如设置上下文变量、引入内置质量指标、添加自定义评估标准和对话历史。

  3. 创建 Agent 测试:使用 agent test create 命令将测试部署到组织,自动将关联的元数据同步回 DX 项目。

  4. 运行测试并查看结果:通过 CLI 或 VS Code Testing Panel 运行,支持异步/同步模式,多种输出格式(Human-Readable、JSON、TAP、JUnit)。

  5. 分析与迭代:全部通过则完成;如有失败,使用 Agent Preview 对话式调试,使用 Apex Replay Debugger 调试 Apex 类,根据结果调整指令、动作或子代理。

  6. 加入 CI/CD:将测试纳入持续集成系统,确保 Agent 持续正确运行。

自定义 Agent 测试 Spec

自定义测试 Spec

上下文变量(Context Variables)

Service Agent 可以连接到消息渠道,使用 MessagingSession 标准对象中的上下文变量来个性化对话。在测试用例中通过 contextVariables 添加测试值:

`testCases:

  • utterance: Are there any resort experiences that match my interests today?
    contextVariables:
    • name: EndUserLanguage
      value: Spanish`
      ```

API 名称可在 Agent Builder UI 的 Context 标签页中找到,对应 MessagingSession 对象的字段。

质量指标(Metrics)

generate 命令自动为每个测试用例添加四项内置指标:

指标描述评估方向
Coherence(连贯性)响应是否易于理解、语法正确?越高越好
Completeness(完整性)响应是否包含所有必要信息?越高越好
Conciseness(简洁性)响应是否简洁但全面?越高越好
Latency(延迟)从请求到响应的毫秒数—

结果显示通过/失败及其 Value/Threshold 分数,例如:✅ COHERENCE (4/0.6) / ❌ COMPLETENESS (1/0.6)。可以删除不需要的指标。

上下文变量和质量指标

自定义评估(Custom Evaluations)

使用 JSONPath 表达式测试 Agent 响应中的特定字符串或数值:

`customEvaluations:

  • label: Check for correct date
    name: string_comparison
    parameters:
    • name: operator / value: equals
    • name: actual / value: $.generatedData.invokedActions[*][?(@.function.name == 'Check_Weather')].function.input.dateToCheck
    • name: expected / value: "2025-09-12"`
      ```

构建 JSONPath 表达式的步骤:

  • 先不带自定义评估运行测试,使用 --verbose 标志

  • 在输出中找到 Generated Data 部分,查看调用的动作 JSON

  • 针对特定数据点构建 JSONPath 表达式

对话历史(Conversation History)

用于多轮对话测试,为话语添加上下文:

`conversationHistory:

  • role: user / message: I purchased an item last week but it hasn't arrived yet.
  • role: agent / message: What is your order ID? / topic: Ask_for_Order_ID
  • role: user / message: It's 123456.`
    ```

注意:Agent 消息需要指定生成该响应的子代理(topic)。

自定义评估和对话历史

从 Spec 文件创建 Agent 测试

创建 Agent 测试

在对测试 Spec 文件满意后,将其部署到开发组织。前提条件:Agent 必须已发布到组织。

预览测试(不更新组织)

sf agent test create --preview --target-org <org>


生成预览元数据 XML 文件:`{Test_Api_name}-preview-{timestamp}.xml`。检查无误后执行实际创建。

### 创建测试(更新组织)

`sf agent test create --target-org <org>`

执行阶段:创建本地元数据 → 部署到组织 → 同步到 DX 项目。DX 项目获得 AiEvaluationDefinition 元数据文件。

查看已部署的测试:sf org open --path /lightning/setup/TestingCenter/home --target-org <org>

预览和创建测试

使用 Agentforce DX 运行 Agent 测试

运行测试

CLI 命令

`# 运行测试
sf agent test run --api-name Resort_Manager_Test --target-org my-dev-org

列出可用测试

sf agent test list --target-org my-dev-org

异步模式(默认)—— 获取 Job ID 后恢复查看

sf agent test resume --job-id 4KBed00fakeahmPGAQ

同步模式

sf agent test run --api-name Resort_Manager_Test --wait 20

指定输出格式

sf agent test run --api-name Resort_Manager_Test --wait 20 --result-format JSON --output-dir json-files

查看已完成测试结果

sf agent test results --job-id `
```

支持四种输出格式:Human-Readable(默认)、JSON、TAP(Test Anything Protocol)、JUnit。

VS Code Testing Panel

  • 点击 Activity Bar 中的烧杯图标 → 展开 Agent Tests 部分

  • 列出测试及其编号的测试用例,点击箭头运行

  • Output 面板显示运行结果,点击测试用例查看详细信息

  • 前提条件:需要 DX 项目中有 AiEvaluationDefinition 元数据(通过 sf project retrieve start --metadata AiEvaluationDefinition 同步)

CLI 命令

理解 CLI Agent 测试结果

测试结果(Human-Readable 输出)包含四个部分:

1. 总体状态

测试通过/失败摘要,运行的测试用例数量,成功/失败计数。

2. 测试用例详情(每个 Utterance)

测试类型验证内容
Subagent TestAgent 是否使用了预期的子代理?失败时 Actual 列显示实际使用的子代理
Action TestAgent 是否使用了预期的动作?失败时显示实际调用的动作
Outcome Test自然语言评估 —— 即使实际文本与预期不同,只要核心含义("要点/gist")一致,测试即可通过。仅在含义显著不同时才失败

3. 质量指标

仅包含 YAML Spec 中定义的指标:Coherence、Completeness、Conciseness 分数/阈值,以及延迟毫秒数。

4. 总体摘要

测试持续时间、Subagent/Action/Outcome 测试的总百分比通过率。

核心要点:Outcome 测试使用自然语言评估 —— 不要求精确文本匹配。测试判断核心含义是否匹配,因此对措辞变化具有鲁棒性,同时仍能捕获根本性的错误响应。

理解测试结果

Agent 测试是一个迭代过程 —— 使用测试结果和 Agent Preview 持续优化 Agent 的指令、动作和子代理。将测试加入 CI/CD 以实现持续的质量保障。

相关文章
|
3月前
|
人工智能 安全 Oracle
AI Agent测试体系构建:从单元测试到端到端质量保障
AI Agent生产可靠性远超“答案正确”——需分层验证工具调用、多轮状态、错误恢复与安全边界。本文提出覆盖Unit/Tool/Agent/Integration/E2E/Production的六层质量体系,强调轨迹评测、黄金数据集、回归门禁与Trace可观测性,推动Agent测试从Demo走向工程化可信。
524 0
|
8月前
|
人工智能 安全 测试技术
AI智能体的测试流程
AI智能体测试重在验证“受控随机性”与“逻辑链完整性”,区别于传统确定性测试。涵盖单元(提示鲁棒性、工具调用、RAG)、推理链、性能成本、黄金集回归、安全红队及UAT/A/B六大维度,确保智能体可靠、安全、高效落地。(239字)
VSCode 如何设置背景图片
VSCode 如何设置背景图片
4386 1
|
3月前
|
人工智能 监控 安全
面试官问我:“你会如何测试一个AI Agent?”我的回答让他当场发了offer
本文揭秘AI Agent面试真题:从“答不上来”到“当场发offer”,详解五层测试体系(单元、集成、端到端、安全、生产监控),融合CheckAgent、RAMPART等实战工具,助你用工程化思维征服AI测试面试。
|
2月前
|
缓存 人工智能 自然语言处理
阿里云千问大模型qwen3.7-max、qwen3.7-plus、qwen3.7-flash对比与选择参考:模型能力、价格与最新活动
本文介绍了阿里云千问大模型Qwen3.7系列中的三款核心模型:qwen3.7-max、qwen3.7-plus和qwen3.7-flash的详细对比信息。文章从模型定位、核心能力、部署区域、上下文限制、计费价格等多个维度进行了全面梳理,旨在帮助开发者和企业用户根据自身业务需求、预算约束和性能要求,选择最适合的大模型服务方案。本文涵盖了各模型在不同区域(华北2北京、新加坡、德国法兰克福、美国弗吉尼亚、日本东京、中国香港)的部署情况和能力支持差异,并提供了详细的按量计费价格表。
|
人工智能 自然语言处理 测试技术
从人工到AI驱动:天猫测试全流程自动化变革实践
天猫技术质量团队探索AI在测试全流程的落地应用,覆盖需求解析、用例生成、数据构造、执行验证等核心环节。通过AI+自然语言驱动,实现测试自动化、可溯化与可管理化,在用例生成、数据构造和执行校验中显著提效,推动测试体系从人工迈向AI全流程自动化,提升效率40%以上,用例覆盖超70%,并构建行业级知识资产沉淀平台。
从人工到AI驱动:天猫测试全流程自动化变革实践
|
9月前
|
人工智能 自然语言处理 测试技术
Prompt Engineering 进阶:如何写出让 AI 自动生成高质量测试用例的提示词?
AI赋能测试用例设计,关键在结构化Prompt:需明确角色、业务、技术栈与约束,并融入等价类、状态图等测试方法论;要求表格化/代码化输出,辅以少样本示例和异常场景深挖。本质是将测试经验精准传递给AI。
|
4月前
|
数据采集 小程序 数据挖掘
阿里云Quick Tracking全域采集与增长分析对接配置完全指南
本文系统梳理了阿里云Quick Tracking(全域采集与增长分析)从零开始的完整对接配置流程。从产品概念与核心价值入手,依次详解业务准备阶段的指标体系与埋点方案设计、组织与应用的创建、事件与属性的后台录入、多端SDK的集成与初始化、埋点验证与生产发布,以及数据分析看板的搭建。重点覆盖Web端与小程序端的SDK接入实战,包含完整的代码示例与参数配置说明。同时介绍了Quick Tracking与Quick Audience的系统对接配置、RAM账号授权管理、全埋点与自定义埋点的差异对比,以及埋点验证的多种方法。文章最后以问答形式解答了接入过程中的常见疑难问题,帮助开发者快速上手并顺利完成全域数
|
5月前
|
人工智能 自然语言处理 监控
阿里云千问大模型详细介绍:模型优势、适用场景、价格及使用教程参考
通义千问(Qwen)是阿里云自研的超大规模语言模型系列,已形成"旗舰+均衡+轻量+多模态"完整矩阵,最新Qwen3-Next采用MoE架构,总参数800亿仅激活30亿,兼顾性能与成本。模型覆盖文本、代码、图文音视频等全场景,Qwen3.7-Max在国际评测中排名领先,Qwen2-72B登顶最强开源模型。通过阿里云百炼平台,开发者可按量付费、资源包或节省计划(最高5折)灵活调用,并借助Model-as-a-Service和Agent开发平台两大路径,快速构建智能客服、编程助手、企业知识库等应用,推动AI普惠落地。
|
4月前
|
人工智能 自然语言处理
本体语义,给企业AI装上懂业务的脑子
企业AI答非所问,根因在模型不懂业务语言。本文拆解本体语义的三层能力(概念建模、关系图谱、规则约束),讲清它与RAG的本质区别,以及什么样的企业最需要本体语义注入。
322 0