通过明确定义的获取数据的位置和类型来标准化元数据管理

• 加快了解哪些输入和参数是有效的，哪些是无效的时间。
• 极大地改善了数据科学团队成员之间的协作。
• 这是实验跟踪和模型可重现性的第一步。

实现模型注册表（仓库）并将其链接到每个实验生成的其他参数

• 现在您知道了每个模型的训练参数和指标。
• 模型可以直接从模型注册表获取到服务（生产/staging）环境。
• 可以在模型之间快速切换或同时提供多个版本

将元数据与生成它的源代码匹配

• 现在您知道了用于生成元数据和训练模型的源代码（实验）。
• 这是模型可重现性的另一个重要步骤。

对您的输入数据进行版本控制

• 在未来的任何时间，您过去的实验几乎可以完全重现。对内部流程和外部审计师都很重要。
• 这是 CD（持续交付）和 CT（持续培训）的关键第一步。

识别常见/可重复的操作（例如：数据预处理）并激励团队将它们迁移到可重用的组件中

• 节省构建和执行（在实验阶段和 CI/CD 期间）常见操作的时间。
• 在整个公司范围内标准化应如何执行可重复的步骤。
• 这是基于 CD/CT 的流水线执行的一个非常重要的步骤。

标准化模型格式以进行部署

• 经过训练的模型符合公司范围内定义的模型格式。
• 更快地开发模型服务组件。
• 这是 CD 和模型测试的另一个重要步骤。

在流水线中打包和标准化您的实验

• 将您的实验过程转移到明确定义的流水线步骤（从数据读取、准备和模型训练结束）将能够开发可重用的组件，从而显着加快和标准化整个实验过程。

在实验阶段从训练模型切换到部署可以训练它的整个 (CD) 流水线

• 任何环境的模型都可以在任何时间点使用新数据自动（或使用触发器）重新训练。
• 模型“更新”不需要花费数据科学家的时间。

监控和日志

• 确保预测正常运行的时间、延迟以及生产环境中的任何产品都应该提供的所有其他“好处”。
• 记录并监控所有传入的分析请求（例如：模型漂移）和反馈。
• 降低与基础设施相关的成本，例如：最小化 GPU 执行时间。

通过数据验证增强流水线（用于实验和 CD/CT 的流水线）

• 自动发现输入数据中可能影响模型预测质量的数据 schema 更改和分布异常。
• 通过仅在需要时为模型再训练提供反馈来降低成本。

通过模型分析和验证增强流水线

• 将模型作为一个整体并跨多个数据片段（例如：人口统计）自动评估，以确保预测的整体质量。
• 在其带来的改进的基础上，将新模型推向生产。