背景
当您已经花了几个月的时间来研究您的 ML 模型：测试各种特征组合、不同的模型架构，并微调超参数，直到最后，您的模型准备就绪！也许更多的优化可以进一步提高性能分，但它已经为现实世界做好了准备。
您要么将其交给工程团队，要么自行准备用于生产。
好戏开始！您的模型将做出真正的预测（人们关心并有影响的预测）。经过这么多的努力，这是一个非常激动人心的时刻。
现在该模型已投入使用，性能至关重要。与依赖于抛出异常的传统软件不同，ML 模型会默默地失败。你的模型不会告诉你它接收到的数据分布已经变化、特性缺失，甚至不会告诉您概念已经完全改变了。
我们通常只有在现实世界迫使我们更新我们的先验知识时才发现出了问题，才了解到我们的模型的性能已经退化。
为什么您的机器学习模型可能表现不佳
1.现实的变化-概念漂移(真实世界)
训练数据集代表了模型的实际情况：收集尽可能多的数据对于性能良好、稳健的模型是至关重要的原因之一。然而，该模型仅在现实的快照上进行训练。世界在不断变化。这意味着模型学习的概念会随着时间的推移而发生变化，因此其性能会下降。这就是为什么必须注意模型中何时出现概念漂移并尽快检测到它们。
我们在机器学习中的概念漂移文章中进一步讨论了各种类型的概念漂移。
2.工程与数据科学迷失在转化中(应用接口)
在许多组织中，构建模型的团队（数据科学家）和负责生产模型的团队（工程/ML 工程师）之间存在分离。这种分离通常是由于编程语言专业知识的差异或仅仅由于不同的组织结构而发生的。
在这些情况下，工程师实施的生产模型与数据科学家的预期实施完全不同是很常见的。因此，生产模型的逻辑无意中与预期的逻辑不同。
3.应用程序更新(应用接口)
通常，完全由其他团队开发的应用程序会使用 ML 模型。发生的一个常见问题是当这些应用程序被更新/修改时，发送到模型的数据不再是模型所期望的。而所有这一切数据科学团队都不知道。
4.特征处理 Bug(内部数据流水线)
数据在最终到达 ML 模型之前要经过许多转换步骤。对数据处理流水线的更改，无论是处理作业还是队列/数据库配置的更改，都可能破坏数据并损坏他们发送到的模型。
5.数据 Schema 变化(内部数据流水线)
训练完成后，模型期望输入特定的数据 Schema。由于特征转换甚至数据流水线的初期阶段对 Schema 进行的更改可能会导致将格式错误的特征发送到模型。
使用指示器来检测模型的常见问题
这些常见问题可以通过寻找正确的指示器来检测。以下是它们可能出现的一些方式：
字段删除
当处理作业失败时，他们通常会将重要字段留空。其他时候，第三方供应商可能会简单地忽略或弃用其 API 中的某个字段，恕不另行通知。发生这种情况时，模型不会接收到它所训练和期望的字段的数据。虽然有些模型能够很好地处理缺失值，但许多模型却不能。
类型不匹配
由于第三方数据源的变化或内部数据流水线的变化，模型可能会遇到意外类型的数据。当它期待一个 int 时，它可能会收到一个“Big int”；或期望 ASCII 时的 Unicode 字符串。我们都遇到过应该是整数的字段可以互换整数和字符串的情况（反之亦然！）。所有这些情况往往会导致不必要的处理错误和不正确的预测。
默认值更改
我们都在代码中使用默认值：可以是 0，也可以是 -1；也许您选择的默认值是 NaN 或更好的值。代码，尤其是模型，假定默认值不会改变。另一个团队在未通知数据科学团队的情况下更改其默认值是问题的常见来源，导致模型出现意外输入和意外行为。
值超出范围
处理数据时，我们通常从分析数据开始。我们寻找唯一值，检查值范围和一般分布。超出模型预期范围的输入值可能会导致意外预测。
分布漂移
另一个可能出现的微妙问题是，当它的一个或多个特征发生分布变化时。虽然数据在数据完整性方面可能看起来不错，但模型的行为可能会由于随时间发生的这种分布漂移而改变。
性能指标下降
我们经常不得不在生产前使用低于标准的标签。一旦获得高质量的标签，就可以重新评估模型的性能。这是检测模型退化的最确凿的指标。不幸的是，在大多数用例中，可能需要数周、数月甚至数年才能获得高质量的标签。等待高质量的标签进行重新评估可能会导致在已经造成严重损坏后，延迟发现问题。
是时候诊断为什么你的模型表现不佳了
我们以一家房地产公司的 ML 模型为例。他们训练了一个模型来预测全国的房价。然而在实践中，该模型可能仅在少数特定社区表现良好，而在许多其他社区表现不佳。如果房地产公司根据模型的预测为其战略决策提供信息，那么社区之间的绩效差异可能是灾难性的。
现实世界中的变化、损坏的数据流水线以及介于两者之间的一切都会改变最终输入模型的数据的形状和内容。特征向量的变化将反映在模型的性能中，可能导致预测与模型训练后的结果完全不同。
棘手的部分是问题通常需要很长时间才能浮出水面。您的模型不是生活在一个被训练数据包围的回声室中，而是在一个复杂多变的世界中，充满了影响其性能的移动部分。
如果没有适当的可见性和监控，您的模型可能会在您不知情且无法发现原因的情况下表现不佳。适当的监控平台将使您获得全面的可见性并及早发现生产问题。
有了这样的系统，您可以保证您的模型（在您训练它们时）表现良好。
