Agent 评估与优化三城巡演丨北京站精彩回顾 & PPT 下载

简介: Agent 评估与优化 · Close the Loop 三城巡演首站北京站圆满落幕。本场活动联合 Dify 举办,吸引了近百名技术从业者参与,围绕“Observe / 观测与审计”这一主题,深度分享了 Agent 可观测性范式、Dify 可解释性实践、AI Coding 观测与降本等议题,并设置了 AgentLoop 动手实操环节。

今天,Agent 评估与优化 · Close the Loop 三城巡演首站北京站圆满落幕。


本场活动联合 Dify 举办,吸引了近百名技术从业者参与,围绕“Observe / 观测与审计”这一主题,深度分享了 Agent 可观测性范式、Dify 可解释性实践、AI Coding 观测与降本等议题,并设置了 AgentLoop 动手实操环节。

image.png

关注「阿里云云原生」公众号,后台回复:Loop0821

获取北京站讲师 PPT 合辑

议题一:Agent 评估与优化全景

分享嘉宾: 阿里云 Agentloop 产品经理 涯海


从企业 Agent 落地的六大挑战“看不清、评不准、存不下、改不动、控不住、复制难”开始,提出从 LLMOps 到 AgentOps 的范式升级:治理对象从单次调用变为完整推理轨迹 Trajectory,以“观测→评估→优化→回测”为主线构建数据飞轮:零代码插桩覆盖约 45 个框架,Agent-as-a-Judge 评估与专家一致性达 90%+,归因分析把评分转译为改进动作,变更门禁拦截负向变更。举例了 某游戏客户 3 天跑通优化闭环、客服质检覆盖率从 5% 升至 100%:谁的飞轮转得快,Agent 就越聪明。

议题二:Dify 如何让 Agent 的每一步可解释、可比较和可验证

分享嘉宾: Dify 工程师 姜涵煦


涵煦分享了在 Agent 编排平台侧的可观测实践:如何让开发者在可视化工作流中看清每个节点的输入输出与耗时,让不同版本的 Agent 编排可以横向比较,让每一次改动的效果可以被验证而非感觉变好了。

议题三:AI Coding 的观测和科学降本实践

分享嘉宾: 阿里云 Agentloop 研发工程师 马云雷


AI Coding 是当前 Token 消耗最大、调用链最深的 Agent 场景之一。本议题基于真实 AI Coding 场景,分享了两个问题的解法:一是怎么看清调用链,从一次编码任务出发,还原模型调用、工具执行、上下文组装的完整链路,定位耗时与失败点;二是怎么把成本科学地降下来,基于观测数据识别冗余调用与低效上下文,在不牺牲任务完成质量的前提下压缩 Token 开销。

动手实操:给 Coding Agent 或其他桌面端 Agent 接入AgentLoop

通过 LoongSuite Pilot 将开发者本机的 AI Coding Agent 运行数据接入 AgentLoop,实现会话、模型调用、工具调用、Token 用量和 Trace 数据的统一观测与分析。


实操文档: https://help.aliyun.com/zh/document_detail/3033878.html

现场花絮

Agent 观测与优化 Close the Loop 巡回沙龙,8月29日深圳站将联合 AgentScope 分享“Evaluate / 评估与实验”,9月4日上海站联合 LangChain 分享“Optimize / 进化”。


报名审核制,审核通过将收到短信通知。

相关文章
|
2月前
|
存储 人工智能 缓存
DeepSeek Harness 全景可观测实践
日志能记下发生了什么,却说不清时间和 Token 花在哪。基于开源 LoongSuite,DeepSeek Harness 有了两条 OpenTelemetry 路线:插件两分钟直发 OTLP,Pilot 统一观测多个 Agent。
|
3月前
|
消息中间件 SQL 存储
|
1月前
|
API
阿里云微服务引擎 MSE 及 API 网关 2026 年 8 月产品动态
阿里云微服务引擎 MSE 及 API 网关 2026 年 8 月产品动态
159 13
|
3月前
|
存储 人工智能 运维
让 Agent 越用越准、成本越来越低:AgentLoop 的 Agent 经验自进化闭环
本文介绍 AgentLoop 如何基于真实运行轨迹自动挖掘和召回经验,在不重新训练模型的情况下,帮助企业提升 Agent 的准确率与稳定性,并降低 Token、工具调用和人工调优成本。
432 23
|
1月前
|
算法 自动驾驶 安全
AgentLoop 数据飞轮实践(一):总览 —— 让 Agent 持续调优的闭环
Agent 上线的那一刻,真正的考试才开始:上线只是起点,持续调优才是关键。本文用一小时实操带你看 AgentLoop 如何把接入、评估、实验、经验库串成数据飞轮,以专家驱动与全自动经验挖掘,让 Agent 越转越聪明。
432 17
|
1月前
|
Java Shell 决策智能
Agent 观测与优化三城巡演丨第二站深圳精彩回顾 & PPT 下载
近日,Agent 观测与优化 · Close the Loop 三城巡演第二站深圳站圆满落幕。本场活动联合 AgentScope 举办,吸引了近百名技术从业者参与,围绕“Evaluate / 评估与实验”这一主题,深度分享了 Agent 评估范式、AgentScope 2.0 企业级智能体底座、以及基于 AgentLoop 的电商客服助手评估实践,并设置了如何进行智能体评估的动手实操。大家最关注的是:企业如何建立评估基建、组织内如何分工是最优解。
145 14
|
1月前
|
人工智能 C++ 微服务
评估:从黄金指标到 Rubric丨AgentLoop 数据飞轮实践(三)
Agent 跑得怎么样?人工抽检又贵又慢,还沉淀不成标准。这篇带你从零搭起可量化、可解释的评估体系:让 AI 把黄金指标拆成 Rubric,装进评估器、跑到评估任务——把"好不好"变成分数,把"为什么不好"变成证据。
|
1月前
|
人工智能 监控 安全
零代码改造:让 AI Agent Sandbox 不再是黑盒
OBI 基于 eBPF 在内核与库函数层零代码拦截通信,自动生成调用链与指标,内置 OpenAI、Anthropic、Gemini、Qwen 及自定义 LLM 网关的 GenAI 语义追踪,覆盖 LLM、工具、MCP 与 RAG 全链路,从性能、成本、安全三个维度透视沙箱执行。
403 14
|
2月前
|
存储 人工智能 运维
从“看得见”到“自己治”:畅捷通可观测与智能运维实践
畅捷通基于阿里云云监控 2.0 与 STAROps 推进智能运维改造,通过五层一体化可观测体系与 UModel 运维数字孪生构建数据底座,叠加智能巡检、故障自愈与容量预测三大 AI 场景闭环,使运维模式实现由"以人为主"向"AI 为主、人工审核"的范式转换。
258 17
|
2月前
|
人工智能 运维 Linux
凌晨告警不再慌!SysOM 巡检 Skill 一键锁定根因
凌晨两点被叫醒,还要花 40 分钟拼出根因?阿里云操作系统控制台发布的 SysOM 巡检 Skill,沉淀了内核专家的排查经验,37 秒即可生成报告,巡检发现问题后自动衔接诊断、精准定位根因。目前 SysOM 巡检 Skill 已开源,一行命令即可立即上手,欢迎体验。
315 18