人工智能,应该如何测试?(四)模型全生命周期流程与测试图

简介: 本文补充了完整的业务和测试流程,包括生命周期流程图,强调测试人员在模型测试中的角色。主要测试活动有:1) 离线模型测试,使用训练集、验证集和测试集评估模型;2) 线上线下一致性测试,确保特征工程的一致性;3) A/B Test,逐步替换新旧模型以观察效果;4) 线上模型监控,实时跟踪用户行为变化;5) 数据质量测试,验证新数据质量以防影响模型效果。

这些日子讲了很多东西,但比较乱,我这里补充一下完整的业务和测试流程。

生命周期流程图

image.png

根据数据闭环,我画出了上面的图,并标记了其中测试人员要参与的活动(浅蓝色)。下面我一一分析一下这些测试活动的含义。

  • 离线模型测试阶段:在模型的生命周期中,会涉及到 3 种数据。 训练集,验证集和测试集,其中训练集用来训练模型,验证集用来算法自测。 而测试人员需要自行采集/挖掘(要根据用户画像每种类别的数据都要采集到)符合场景的测试的数据。 根据测试数据对模型进行完整的评估(AUC,召回,精准等等)
  • 线上线下一致性测试: 模型的离线和在线是采取完全不同的代码进行的特征工程(模型不接受原始数据,数据需要经过特征工程后输入到模型),要保证两边的特征工程完全一致是很难的。 所以要进行一致性的测试。
  • A/B Test: 模型即便在离线进行了充分的测试,但线上的情况瞬息万变,模型上线是一个严谨的过程。 我们希望模型更新的过程更加严谨。 所以往往会让新旧模型共存一段时间。比如我们先把 10% 的流量切给新模型, 90% 的流量依然发送到老模型中。 然后待观察效果没有问题后,再切 20% 的流量到新模型上,以此类推, 直到最后新模型完全替代老模型。
  • 线上模型监控:因为用户行为瞬息万变,可能随便一个社会性时间用户的行为就发生了重大的改变。 所以我们需要实时的监控线上效果。
  • 数据质量测试:新采集的数据要加入到自学习之前,需要验证数据本身的质量。以免犹豫数据本身出现了问题导致模型效果的偏差。
相关文章
|
8天前
|
机器学习/深度学习 人工智能 算法
探索软件测试中的人工智能应用
【6月更文挑战第13天】随着人工智能技术的飞速发展,其在软件测试领域的应用也日益广泛。本文将深入探讨AI技术如何革新传统的软件测试流程,提升测试效率与质量,以及面对这一趋势,测试人员应如何适应和利用AI来优化自己的工作。
|
1天前
|
人工智能 自然语言处理 API
人工智能大模型之开源大语言模型汇总(国内外开源项目模型汇总)
人工智能大模型之开源大语言模型汇总(国内外开源项目模型汇总)
人工智能大模型之开源大语言模型汇总(国内外开源项目模型汇总)
|
11天前
|
机器学习/深度学习 人工智能 分布式计算
人工智能平台PAI产品使用合集之在maxcompute上跑模型,如何在本地进行推理
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
人工智能平台PAI产品使用合集之在maxcompute上跑模型,如何在本地进行推理
|
3天前
|
人工智能 自然语言处理 机器人
【AIGC】大型语言模型在人工智能规划领域模型生成中的探索
【AIGC】大型语言模型在人工智能规划领域模型生成中的探索
15 6
|
2天前
|
传感器 机器学习/深度学习 人工智能
多模态大模型代表了人工智能领域的新一代技术范式
多模态大模型代表了人工智能领域的新一代技术范式
11 2
|
5天前
|
人工智能
人工智能大模型——零样本提示
**零样本提示**是向LLM如ChatGPT提问时不提供示例的方式,适用于目标明确、问题简单和答案固定的场景。例如,翻译请求或简单算术问题。在实践中,清晰、简洁的提示能获得更好响应。案例展示包括翻译和定义解释,ChatGPT能有效回应。理解其应用和技巧的同时,也应注意其对复杂情境理解的限制。
18 3
|
11天前
|
机器学习/深度学习 人工智能 PyTorch
人工智能平台PAI产品使用合集之Alink是否加载预训练好的pytorch模型
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
|
11天前
|
数据采集 机器学习/深度学习 人工智能
探索软件测试中的人工智能应用
【6月更文挑战第10天】随着人工智能技术的飞速发展,其在软件测试领域的应用也日益广泛。本文将探讨AI在提高软件测试效率和准确性方面的潜力,以及面临的挑战和未来的发展方向。
17 2
|
11天前
|
机器学习/深度学习 人工智能 分布式计算
人工智能平台PAI产品使用合集之如何删除oss路径上特定的模型
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
|
11天前
|
机器学习/深度学习 人工智能 网络安全
人工智能平台PAI产品使用合集之在本地可以成功进入模型流,但在服务器上无法进入,是什么原因
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。

热门文章

最新文章