AI时代,质量工作的边界正在不断被重新定义。
过去谈质量,更多围绕功能是否正确、流程是否稳定、缺陷是否收敛展开;但随着音视频、多媒体、机器视觉、大模型、多模态和Agent应用不断进入业务场景,质量团队面对的问题已经不再只是“功能有没有问题”,而是进一步延伸到“效果是否符合预期”“结果是否可信”“任务是否真正完成”。
这也让算法评测逐渐成为质量工程领域中越来越重要的方向。
在本届 TID质量竞争大会 上,多模态算法评测负责人罗军将带来议题:
《从传统质量到算法评测的转型》
这场分享将结合罗军及其团队从传统测试、多媒体质量、传统算法评测、AIGC/多模态评测,再到Agent评测的实践路径,分享质量团队在方法论和团队形态上的转型思考。
对于正在关注AI测试、算法评测、多模态评测、Agent评测以及质量团队能力升级的从业者来说,这是一场非常值得关注的分享。
为什么“算法评测”正在成为质量团队的新课题?
在传统软件测试场景中,测试人员通常可以围绕需求、功能、流程和预期结果开展质量保障。
但到了算法和AI应用场景,问题变得更加复杂。
音视频质量是否达标,很多时候不只是功能可用的问题; 机器视觉识别是否准确,也不仅是接口是否返回结果的问题; AIGC和多模态应用是否好用,更涉及生成质量、语义理解、内容一致性、场景适配等多个维度; Agent应用是否可靠,还可能进一步涉及任务完成率、工具调用、流程闭环等问题。
这意味着,质量团队需要面对的对象正在发生变化。
从传统系统,到算法模型; 从确定性输出,到效果评估; 从功能验证,到任务结果判断; 从单点测试,到完整链路评测。
这也是“从传统质量到算法评测的转型”值得讨论的原因。
传统质量团队面临哪些转型挑战?
从议题介绍来看,本次分享会重点围绕两个层面展开: 一是方法论的转型,二是团队形态的转型。
这两个层面背后,对很多质量团队来说都非常现实。
- 质量对象变了
传统质量更多关注软件功能、业务流程和系统稳定性。
但在算法场景下,质量对象开始变成音视频效果、机器视觉识别效果、AIGC生成效果、多模态理解效果,以及Agent任务执行效果。
对象变了,测试和评测的关注点也会随之变化。
- 评测标准更复杂了
传统测试中,很多结果可以通过明确断言判断。
但算法效果评测往往不一定只有简单的“通过”或“不通过”。
比如生成内容是否自然,识别结果是否准确,多模态理解是否符合语境,Agent任务是否完成,这些都需要更适配场景的评测方式。
这也是算法评测相较传统测试更具挑战的地方。
- 团队能力结构需要变化
当质量工作进入算法和AI场景之后,单纯依赖传统测试开发能力可能不够。
议题介绍中提到,团队从测试开发为主,逐步引入算法工程师,再到今天以算法为核心。
这背后涉及团队角色、能力模型和定位的变化,也是很多质量团队正在经历或即将面对的问题。
- 质量团队定位需要重新思考
在AI应用越来越多的背景下,质量团队不只是发现缺陷,也要参与效果评测、数据分析、评测体系建设和模型能力验证。
这意味着质量团队的价值不再只体现在测试执行效率上,也会体现在对算法效果、业务体验和智能系统可靠性的评估能力上。
本场分享有哪些看点?
看点一:从传统测试到算法评测的实践路径
罗军将结合自己和团队的真实转型路径,分享从传统测试一路走向多媒体质量、传统算法评测、AIGC/多模态评测,再到Agent评测的过程。
这类实践路径本身很有参考意义。
因为很多团队并不是一开始就做AI评测,而是在业务和技术发展过程中逐步演进过来的。
看点二:质量方法论如何随技术对象变化而变化
从功能覆盖、质量保障,到音视频效果、机器视觉识别,再到大模型时代的benchmark设计、LLM-as-a-Judge,以及面向Agent任务完成率、工具调用、流程闭环的评测,质量方法论也在不断变化。
本场分享会围绕这一变化过程展开。
对于希望理解AI时代质量体系演进的团队来说,这部分值得重点关注。
看点三:多模态和Agent评测带来的新挑战
AIGC、多模态和Agent应用,是当前AI落地中非常活跃的方向。
但这些方向也带来了新的评测难题。
多模态评测往往涉及文本、图像、音视频等多种信息形态; Agent评测则可能涉及任务拆解、工具调用、执行过程和结果闭环。
这些内容会让质量工作从传统测试进一步走向智能系统评测。
看点四:团队形态如何从测试开发走向算法评测
本次议题不仅关注评测方法,也关注团队形态变化。
从测试开发为主,到引入算法工程师,再到以算法为核心,团队能力结构会发生明显变化。
过程中如何调整角色分工、能力模型和团队定位,是本场分享非常值得关注的部分。
这对于正在建设AI质量团队、算法评测团队、多模态评测团队的管理者和技术负责人,都有参考价值。
这场分享适合谁听?
这场分享适合以下几类人重点关注:
正在从传统测试转向AI测试、算法评测的质量团队
关注多模态评测、AIGC评测、Agent评测的测试开发工程师
正在建设算法质量体系或AI评测平台的技术团队
负责质量团队转型和能力升级的测试负责人
希望理解AI时代质量岗位变化趋势的从业者
对大模型、多模态、智能体质量保障感兴趣的研发和产品团队
为什么值得关注?
“从传统质量到算法评测的转型”,不是一个单纯的技术话题。
它背后反映的是质量工程正在面对的新变化:
质量对象在变化; 评测标准在变化; 团队能力在变化; 质量团队的定位也在变化。
当AI能力从实验室走向业务场景,算法效果、多模态理解、生成质量和Agent任务完成情况,都可能成为影响用户体验和业务结果的重要因素。
这意味着,质量团队需要不断拓展能力边界。
罗军本次在 TID质量竞争大会 带来的分享,正是围绕这一转型过程展开:从传统测试,到多媒体质量,再到AIGC、多模态和Agent评测,呈现质量团队在AI时代的实践探索和角色变化。
对于正在思考质量团队未来方向的人来说,这场议题值得重点关注。