正如我们在文章(机器学习生命周期)中指出的那样，MLOps 系统的生命周期包括各种过程，尽管付出了所有努力和时间，但不能保证创建有效的 MLOps。 据麦肯锡称，只有 36% 的公司可以部署 MLOps。 如果模型部署过程成功，则可以开始 ML 过程生命周期中最长的周期，即模型监控。
什么是模型监控？
模型监控是指对 ML 模型的性能进行控制和评估，以确定其是否有效运行。 当 ML 模型经历一些性能衰减时，应采取适当的维护措施来恢复性能。 您可以将这个过程想象为不时将您的汽车送去维修，并更换汽车的轮胎或机油以获得更好的性能。
为什么模型监控很重要？
许多公司根据 ML 应用程序做出战略决策。 但是，ML 模型的性能会随着时间的推移而下降。 这可能导致公司做出非最佳决策，最终导致业绩下降、利润或收入下降等。
为了防止这种破坏性影响，公司应将 ML 模型的性能阈值视为必须始终满足的 KPI。 因此，他们应该定期监控他们的机器学习模型。
ML 模型随时间退化的原因是什么？
更改输入数据是 ML 模型随时间退化的主要原因。输入数据可能会因以下原因而改变：
- ML 预测的环境是不断变化的，因此 ML 模型应该适应新的环境。
- 流水线中的业务数据可能会随时间而变化。
不断变化的环境
ML 算法根据模型建立时的数据预测未来或优化流程。因此，算法根据该时间间隔的参数值解决业务问题。然而，我们生活的环境在不断变化，参数值也在不断变化。因此，为了有效地解释数据，必须根据环境的变化更新模型。
让我们以聊天机器人为例。我们知道语言是不断变化的。这就是为什么与今天的英语相比，很难理解莎士比亚英语。我们使用的词语也在不断变化。我们十年前使用的一些词在今天可能被认为是粗鲁的描述。因此，十年前为最大限度地提高客户满意度而设计的聊天机器人如果不加以监控，可能会给客户带来不安全的时间。
更改业务数据
流水线中使用的业务数据可能会不时更改。这很常见，因为数据工程团队对输入数据的来源控制有限。其原因可能是由于业务动态变化或公司的新业务决策。此外，法规也可能是这种变化的原因。
让我们想象一家匈牙利公司从美国销售进口商品。今天，匈牙利使用匈牙利福林作为本国货币，这意味着福林相对于美元的波动会影响业务效率。然而，几年后，匈牙利可能会使用欧元作为其货币，与福林相比，欧元的波动幅度有所不同。因此，上游数据应相应的调整。
公司应该监控哪些变量用于确保健康的机器学习模型？
为了确保 ML 模型的有效工作，公司可以检查以下变量：
- 真实值与预测值检查：将 ML 模型的预测与现实世界数据进行比较。这是确定模型的预测是否准确的最佳方法。如果两者之间存在较大差距，则意味着需要对 ML 模型进行系统更新。
- 数据分布变化：如前所述，世界有时会像 Covid 大流行一样快速变化。这种情况导致数据分布发生巨大变化。数据分布的变化是更新 ML 模型的消息。因此，建议密切关注它。
- 无错误数据：ML 模型需要高质量的数据来执行最佳分析。因此，重要的是要确定数据是否正确。因此，定期的数据清洗可以保证数据的质量。
- 公平：如果 ML 模型歧视一个或多个种族、宗教或其他群体，则必须迅速对其进行检修。这是因为如果人工智能偏见被发现，可能会对公司的市场价值造成严重后果。
- 运行指标：检查 CPU、内存、硬盘和网络 I/O 的使用情况很有用。如果他们接近满负荷，则需要对有效工作的 ML 模型进行维护。
