通过明确定义的获取数据的位置和类型来标准化元数据管理
- 加快了解哪些输入和参数是有效的，哪些是无效的时间。
- 极大地改善了数据科学团队成员之间的协作。
- 这是实验跟踪和模型可重现性的第一步。
实现模型注册表（仓库）并将其链接到每个实验生成的其他参数
- 现在您知道了每个模型的训练参数和指标。
- 模型可以直接从模型注册表获取到服务（生产/staging）环境。
- 可以在模型之间快速切换或同时提供多个版本
将元数据与生成它的源代码匹配
- 现在您知道了用于生成元数据和训练模型的源代码（实验）。
- 这是模型可重现性的另一个重要步骤。
对您的输入数据进行版本控制
- 在未来的任何时间，您过去的实验几乎可以完全重现。对内部流程和外部审计师都很重要。
- 这是 CD（持续交付）和 CT（持续培训）的关键第一步。
识别常见/可重复的操作（例如：数据预处理）并激励团队将它们迁移到可重用的组件中
- 节省构建和执行（在实验阶段和 CI/CD 期间）常见操作的时间。
- 在整个公司范围内标准化应如何执行可重复的步骤。
- 这是基于 CD/CT 的流水线执行的一个非常重要的步骤。
标准化模型格式以进行部署
- 经过训练的模型符合公司范围内定义的模型格式。
- 更快地开发模型服务组件。
- 这是 CD 和模型测试的另一个重要步骤。
在流水线中打包和标准化您的实验
- 将您的实验过程转移到明确定义的流水线步骤（从数据读取、准备和模型训练结束）将能够开发可重用的组件，从而显着加快和标准化整个实验过程。
在实验阶段从训练模型切换到部署可以训练它的整个 (CD) 流水线
- 任何环境的模型都可以在任何时间点使用新数据自动（或使用触发器）重新训练。
- 模型“更新”不需要花费数据科学家的时间。
监控和日志
- 确保预测正常运行的时间、延迟以及生产环境中的任何产品都应该提供的所有其他“好处”。
- 记录并监控所有传入的分析请求（例如：模型漂移）和反馈。
- 降低与基础设施相关的成本，例如：最小化 GPU 执行时间。
通过数据验证增强流水线（用于实验和 CD/CT 的流水线）
- 自动发现输入数据中可能影响模型预测质量的数据 schema 更改和分布异常。
- 通过仅在需要时为模型再训练提供反馈来降低成本。
通过模型分析和验证增强流水线
- 将模型作为一个整体并跨多个数据片段（例如：人口统计）自动评估，以确保预测的整体质量。
- 在其带来的改进的基础上，将新模型推向生产。
