模型监控:定义、重要性和最佳实践(AI Multiple)

简介: 正如我们在文章(机器学习生命周期)中指出的那样,MLOps 系统的生命周期包括各种过程,尽管付出了所有努力和时间,但不能保证创建有效的 MLOps。 据麦肯锡称,只有 36% 的公司可以部署 MLOps。 如果模型部署过程成功,则可以开始 ML 过程生命周期中最长的周期,即模型监控。

正如我们在文章(机器学习生命周期)中指出的那样,MLOps 系统的生命周期包括各种过程,尽管付出了所有努力和时间,但不能保证创建有效的 MLOps。 据麦肯锡称,只有 36% 的公司可以部署 MLOps。 如果模型部署过程成功,则可以开始 ML 过程生命周期中最长的周期,即模型监控。

网络异常,图片无法展示
|


什么是模型监控?

网络异常,图片无法展示
|


模型监控是指对 ML 模型的性能进行控制和评估,以确定其是否有效运行。 当 ML 模型经历一些性能衰减时,应采取适当的维护措施来恢复性能。 您可以将这个过程想象为不时将您的汽车送去维修,并更换汽车的轮胎或机油以获得更好的性能。


为什么模型监控很重要?

许多公司根据 ML 应用程序做出战略决策。 但是,ML 模型的性能会随着时间的推移而下降。 这可能导致公司做出非最佳决策,最终导致业绩下降、利润或收入下降等。

为了防止这种破坏性影响,公司应将 ML 模型的性能阈值视为必须始终满足的 KPI。 因此,他们应该定期监控他们的机器学习模型。


ML 模型随时间退化的原因是什么?

更改输入数据是 ML 模型随时间退化的主要原因。输入数据可能会因以下原因而改变:

  • ML 预测的环境是不断变化的,因此 ML 模型应该适应新的环境。
  • 流水线中的业务数据可能会随时间而变化。

不断变化的环境

ML 算法根据模型建立时的数据预测未来或优化流程。因此,算法根据该时间间隔的参数值解决业务问题。然而,我们生活的环境在不断变化,参数值也在不断变化。因此,为了有效地解释数据,必须根据环境的变化更新模型。

让我们以聊天机器人为例。我们知道语言是不断变化的。这就是为什么与今天的英语相比,很难理解莎士比亚英语。我们使用的词语也在不断变化。我们十年前使用的一些词在今天可能被认为是粗鲁的描述。因此,十年前为最大限度地提高客户满意度而设计的聊天机器人如果不加以监控,可能会给客户带来不安全的时间。

更改业务数据

流水线中使用的业务数据可能会不时更改。这很常见,因为数据工程团队对输入数据的来源控制有限。其原因可能是由于业务动态变化或公司的新业务决策。此外,法规也可能是这种变化的原因。

让我们想象一家匈牙利公司从美国销售进口商品。今天,匈牙利使用匈牙利福林作为本国货币,这意味着福林相对于美元的波动会影响业务效率。然而,几年后,匈牙利可能会使用欧元作为其货币,与福林相比,欧元的波动幅度有所不同。因此,上游数据应相应的调整。


公司应该监控哪些变量用于确保健康的机器学习模型?

为了确保 ML 模型的有效工作,公司可以检查以下变量:

  • 真实值与预测值检查:将 ML 模型的预测与现实世界数据进行比较。这是确定模型的预测是否准确的最佳方法。如果两者之间存在较大差距,则意味着需要对 ML 模型进行系统更新。
  • 数据分布变化:如前所述,世界有时会像 Covid 大流行一样快速变化。这种情况导致数据分布发生巨大变化。数据分布的变化是更新 ML 模型的消息。因此,建议密切关注它。
  • 无错误数据:ML 模型需要高质量的数据来执行最佳分析。因此,重要的是要确定数据是否正确。因此,定期的数据清洗可以保证数据的质量。
  • 公平:如果 ML 模型歧视一个或多个种族、宗教或其他群体,则必须迅速对其进行检修。这是因为如果人工智能偏见被发现,可能会对公司的市场价值造成严重后果。
  • 运行指标:检查 CPU、内存、硬盘和网络 I/O 的使用情况很有用。如果他们接近满负荷,则需要对有效工作的 ML 模型进行维护。


相关文章
|
13天前
|
人工智能 搜索推荐 Docker
手把手教你使用 Ollama 和 LobeChat 快速本地部署 DeepSeek R1 模型,创建个性化 AI 助手
DeepSeek R1 + LobeChat + Ollama:快速本地部署模型,创建个性化 AI 助手
3416 117
手把手教你使用 Ollama 和 LobeChat 快速本地部署 DeepSeek R1 模型,创建个性化 AI 助手
|
8天前
|
人工智能 Linux iOS开发
exo:22.1K Star!一个能让任何人利用日常设备构建AI集群的强大工具,组成一个虚拟GPU在多台设备上并行运行模型
exo 是一款由 exo labs 维护的开源项目,能够让你利用家中的日常设备(如 iPhone、iPad、Android、Mac 和 Linux)构建强大的 AI 集群,支持多种大模型和分布式推理。
239 100
|
14天前
|
人工智能 物联网 开发者
Oumi:开源的AI模型一站式开发平台,涵盖训练、评估和部署模型的综合性平台
Oumi 是一个完全开源的 AI 平台,支持从 1000 万到 4050 亿参数的模型训练,涵盖文本和多模态模型,提供零样板代码开发体验。
204 43
Oumi:开源的AI模型一站式开发平台,涵盖训练、评估和部署模型的综合性平台
|
2天前
|
人工智能 编解码 算法
ENEL:3D建模革命!上海AI Lab黑科技砍掉编码器,7B模型性能吊打13B巨头
ENEL是由上海AI Lab推出的无编码器3D大型多模态模型,能够在多个3D任务中实现高效语义编码和几何结构理解,如3D对象分类、字幕生成和视觉问答。
36 9
ENEL:3D建模革命!上海AI Lab黑科技砍掉编码器,7B模型性能吊打13B巨头
|
9天前
|
机器学习/深度学习 人工智能 编解码
Lumina-Image 2.0:上海 AI Lab 开源的统一图像生成模型,支持生成多分辨率、多风格的图像
Lumina-Image 2.0 是上海 AI Lab 开源的高效统一图像生成模型,参数量为26亿,基于扩散模型和Transformer架构,支持多种推理求解器,能生成高质量、多风格的图像。
120 17
Lumina-Image 2.0:上海 AI Lab 开源的统一图像生成模型,支持生成多分辨率、多风格的图像
|
2天前
|
机器学习/深度学习 人工智能 机器人
TIGER:清华突破性模型让AI「听觉」进化:参数量暴降94%,菜市场都能分离清晰人声
TIGER 是清华大学推出的轻量级语音分离模型,通过时频交叉建模和多尺度注意力机制,显著提升语音分离效果,同时降低参数量和计算量。
55 6
TIGER:清华突破性模型让AI「听觉」进化:参数量暴降94%,菜市场都能分离清晰人声
|
16天前
|
机器学习/深度学习 人工智能 自然语言处理
YuE:开源AI音乐生成模型,能够将歌词转化为完整的歌曲,支持多种语言和多种音乐风格
YuE 是香港科技大学和 M-A-P 联合开发的开源 AI 音乐生成模型,能够将歌词转化为完整的歌曲,支持多种音乐风格和多语言。
204 23
YuE:开源AI音乐生成模型,能够将歌词转化为完整的歌曲,支持多种语言和多种音乐风格
|
16天前
|
人工智能 编解码 语音技术
SpeechGPT 2.0:复旦大学开源端到端 AI 实时语音交互模型,实现 200ms 以内延迟的实时交互
SpeechGPT 2.0 是复旦大学 OpenMOSS 团队推出的端到端实时语音交互模型,具备拟人口语化表达、低延迟响应和多情感控制等功能。
211 21
SpeechGPT 2.0:复旦大学开源端到端 AI 实时语音交互模型,实现 200ms 以内延迟的实时交互
|
6天前
|
人工智能 Linux 开发工具
Kiln AI:零代码实现微调模型!自动生成合成数据与微调模型的开源平台
Kiln AI 是一款开源的 AI 开发工具,支持零代码微调多种语言模型,生成合成数据,团队协作开发,自动部署。帮助用户快速构建高质量的 AI 模型。
396 7
Kiln AI:零代码实现微调模型!自动生成合成数据与微调模型的开源平台
|
16天前
|
机器学习/深度学习 人工智能 API
Aligner:自动修正AI的生成结果,北大推出残差修正模型对齐技术
介绍北大团队提出的 Aligner 模型对齐技术,通过学习对齐答案与未对齐答案之间的修正残差,提升大语言模型的性能。
78 28

热门文章

最新文章