议题背景介绍
随着人工智能技术的普及，越来越多基于AI能力的产品、服务被推出市场，形成横向以场景驱动、纵向以AI原子能力驱动的综合布局。然而，与AI市场快速爆发的猛烈态势形成对比的是对于AI系统质量的保障手段及方法论依然处于边探索边前进的状态。本次又仁老师的分享聚焦于AI语音系统的质量保证体系方法论，从大规模数据采样、构造到智能体实现运用等视角切入，为基于AI语音能力的相关质量保障工作提供思路，分享可运用于工程实践的相关方法&手段。
智能系统的现状及挑战
在过去5-10年，随着技术端的不断发展，智能系统也得到快速的发展。智能系统由数据、硬件、工程以及算法组成，其中算法在智能系统里有着不可撼动的位置，从云端链路、终端测试、模型评测、工程封装等环节，不难看出智能系统有着链路长、不可解释性、场景复杂、数据要求高等特点。
那么现有情况下，存在哪些挑战呢？以智能音箱为例，现在的语音识别产品在厂商的智能家居规划蓝图中是扮演一个人与机器交流的桥梁，那在实际应用中就要求音箱能够听得到人说的话，同时还要求它听得清晰和听得准。这就提出了第一个挑战——信噪比。所谓信噪比，就是目标信号与干扰信号强度比值的对数，我们需要一定的信噪比，才能让机器听得清楚。但根据声音的传播特性，它在空气中衰减会非常大，但人在与智能音箱交流的过程中，可能会处在不同的位置和距离。这就给智能发展提出了一个难题，同时也是语音识别所面临的最大挑战。第二个挑战是非稳态的噪声影响。如果我们面对的是规律的噪声，应对的办法无疑会简单很多。但在实际的使用环境中，我们经常会面对的是带有突发性和不可预见性的噪音，这也给智能领域的发展带来了不小的挑战。第三是多声源的问题。智能音箱在使用的过程中，只会听从一个声源的指令，但在人机交流的过程中，必然会出现干扰源。如何处理这个干扰的问题，也困扰着相关开发者和智能测试人员。基于这些业务开发挑战，智能系统的 测试挑战在数据准备、模型选型、模型训练、模型评测、工程部署等五大方面也反映出了几大难题：测试场景复杂、评测数据缺乏、依赖人力投入。其中模型评测时开发和测试会在研发流程上存在一定重合，所以都需要进行模型效果评测，这个时候团队内的信任将会大大提高覆盖率和智能化效率。
随着智能系统测试的不断发展，我们根据不同的分级标准也划分出了一个智能测试能力等级，根据这个等级即可判断出智能测试领域的发展情况及不足。
智能测试探索实践之路
基于前期智能测试的挑战，同时为了提高智能测试能力等级，又仁老师开始思考如何让智能系统更加智能呢？先从多场景开始头脑风暴，接着进行非结构化大数据的模拟构造。就是这样一个出发点形成了现在完整的智能测试架构：从智能数据采集加工、多元化场景构造、智能测试自动化到智能智测中心的系统架构我们不难看出智能测试的核心是什么：大数据+智能体+自动化。
测试大数据是智能测试中最开始的一环，数据的质量往往影响着智能测试的质量。将多元化的数据源整合在一起形成完整的数据流为我们的智能测试打下了很好的数据基础。
基于不同的能力将智能体大致分为三类：单一小模型、视觉语音中模型、多模态智能系统。不同类型意味着他们的通用性和专用性有很大的不同，在不同场景下选择合适的智能体将大大促进智能系统的智能化。
端到端评测、工程测试、模型评测组成了智能测试架构中的自动化场景，这三种模型在并发能力、人力方面各不相同，有利有弊，在智能化场景测试中选择合适的场景来进行测试能达到事半功倍的效果。自动化流程中需要特别注意：模型部署、工程调用、端侧发布等环节，每一步的失误都会导致智能测试不那么智能。
