6. Qualdo
Qualdo 是 Azure、Google 和 AWS 中的机器学习模型性能监控工具。 该工具具有一些不错的基本功能，可让您在整个生命周期中观察模型。
使用 Qualdo，您可以从生产 ML 输入/预测数据、日志和应用程序数据中获得洞察力，以观察和改进您的模型性能。 有模型部署和数据漂移和数据异常的自动监控，您可以看到质量指标和可视化。
它还提供了在 Tensorflow 中监控 ML 流水线性能的工具，并利用了 Tensorflow 的数据验证和模型评估功能。
此外，它还集成了许多人工智能、机器学习和通信工具，以改善您的工作流程并简化协作。
这是一个相当简单的工具，并没有提供许多高级功能。 因此，如果您正在寻找一个简单的 ML 模型监控性能解决方案，那它就是一个好的选择。
7. Fiddler
Fiddler 是一个模型监控工具，具有用户友好、清晰、简单的界面。它使您可以监控模型性能、解释和调试模型预测、通过整个数据和切片来分析模型行为、大规模部署机器学习模型以及管理机器学习模型和数据集。
以下是 Fiddler 的 ML 模型监控功能：
- 性能监控 - 一种探索数据漂移并识别哪些数据在漂移、何时漂移以及如何漂移的可视化方式
- 数据完整性 - 确保没有不正确的数据进入您的模型，并且不会对最终用户体验产生负面影响
- 跟踪异常值 - Fiddler 在异常值检测选项卡中显示单变量和多变量异常值
- 服务指标 - 让您基本了解生产环境中 ML 服务的运行状况
- 警报 — Fiddler 允许您为项目中的一个模型或一组模型设置警报，以警告生产中的问题
总体而言，它是监控具有所有必要功能的机器学习模型的绝佳工具。
8. Amazon SageMaker Model Monitor
Amazon SageMaker 模型监控 是 Amazon SageMaker 的工具之一。它会自动检测生产中部署的模型的不准确预测并发出警报，以便您保持模型的准确性。
以下是 SageMaker 模型监控功能的摘要：
- 可定制的数据收集和监控——您可以选择您想要监控和分析的数据，无需编写任何代码
- 以统计规则的形式内置分析，以检测数据和模型质量的漂移
- 您可以编写自定义规则并为每个规则指定阈值。然后可以使用这些规则来分析模型性能
- 指标可视化，并在 SageMaker notebook 实例中运行临时分析
- 模型预测——导入数据以计算模型性能
- 调度监控作业
- 该工具与 Amazon SageMaker Clarify 集成，因此您可以识别 ML 模型中的潜在偏差
当与其他机器学习工具一起使用时，SageMaker 模型监视器可让您完全控制您的实验。
9. Seldon Core
Seldon Core 是一个开源平台，用于在 Kubernetes 上部署机器学习模型。 它是一个 MLOps 框架，可让您打包、部署、监控和管理数以千计的生产机器学习模型。
它可以在任何云和本地运行，与框架无关，支持顶级 ML 库、工具包和语言。 此外，它将您的 ML 模型（例如，Tensorflow、Pytorch、H2o）或语言包装器（Python、Java）转换为生产 REST/GRPC 微服务。
基本上，Seldon Core 具有扩展大量 ML 模型所需的所有功能。 您可以期待高级指标、异常值检测器、金丝雀、由预测器、转换器、路由器或组合器组成的丰富推理图等功能。
10. Censius
Censius 是一个 AI 模型可观察性平台，可让您监控整个 ML 流水线、解释预测并主动修复问题以改善业务成果。
Censius 的主要特点：
- 完全可配置的监视器，可检测漂移、数据质量问题和性能下降
- 实时通知让您提前了解模型服务流水线中的问题
- 可定制的仪表板，您可以在其中对模型训练和生产数据进行切片和切块，并观察任何业务 KPI
- 当您继续在生产中使用不同的模型进行试验和迭代时，对 A/B 测试框架的原生支持
- 通过表格、图像、文本数据的可解释性深入挖掘问题的根本原因
总结
既然您知道了如何评估 ML 模型监视工具以及现有的工具，那么最好的方法就是测试出您喜欢的工具！
