ML:MLOps系列讲解之《基于ML的软件的三个层次》解读

简介: ML:MLOps系列讲解之《基于ML的软件的三个层次》解读


ML:MLOps系列讲解之《基于ML的软件的三个层次》解读

导读:您将了解基于ML的软件的三个核心元素——数据、ML模型和代码。特别地,我们会将讨论:

(1)、数据工程管道

(2)、ML管道和ML工作流。

(3)、模型服务模式和部署策略

ML/AI迅速被新的应用程序和行业采用。如前所述,机器学习项目的目标是利用收集到的数据并应用机器学习算法来建立一个统计模型。然而,构建成功的基于ML的软件项目仍然很困难,因为每个基于ML的软件都需要管理三个主要资产:数据、模型和代码。机器学习模型操作化管理—MLOps,作为DevOps的扩展,围绕设计、构建和部署机器学习模型到生产中建立有效的实践和流程。我们在这里描述了在基于机器学习的软件开发中所涉及的基本技术方法,即数据工程、ML模型工程和软件发布工程

目录

4、《基于ML的软件的三个层次》解读

4.1、Data: Data Engineering Pipelines

4.1.1、Data Ingestion

4.1.2、Exploration and Validation

4.1.3、Data Splitting

4.2、Model: Machine Learning Pipelines

4.2.1、Model Training

4.2.2、Model Evaluation

4.2.3、Model Testing

4.2.4、Model Packaging

4.2.5、Different forms of ML workflows不同形式的机器学习工作流程

4.2.6、ML Model serialization formats 机器学习模型序列化格式

4.3、Code: Deployment Pipelines

4.3.1、Model Serving Patterns模型服务模式

4.3.2、Deployment Strategies部署策略


相关文章

ML:MLOps系列讲解之《基于ML的软件的三个层次》解读

ML:MLOps系列讲解之《基于ML的软件的三个层次之01 Data: Data Engineering Pipelines》解读

ML:MLOps系列讲解之《基于ML的软件的三个层次之02 Model: Machine Learning Pipelines 2.1~2.4》解读

ML:MLOps系列讲解之《基于ML的软件的三个层次之02 Model: Machine Learning Pipelines——2.5 Different forms of ML workflows不同形式的机器学习工作流程》解读

ML:MLOps系列讲解之《基于ML的软件的三个层次之02 Model: Machine Learning Pipelines——2.6 ML Model serialization formats 机器学习模型序列化格式》解读

ML:MLOps系列讲解之《基于ML的软件的三个层次之03 Code: Deployment Pipelines》解读

4、《基于ML的软件的三个层次》解读

4.1、Data: Data Engineering Pipelines

4.1.1、Data Ingestion

4.1.2、Exploration and Validation

4.1.3、Data Splitting

4.2、Model: Machine Learning Pipelines

4.2.1、Model Training

(1)、特征工程

(2)、模型工程的工作流

4.2.2、Model Evaluation

4.2.3、Model Testing

4.2.4、Model Packaging

4.2.5、Different forms of ML workflows不同形式的机器学习工作流程

4.2.5.1、ML模型训练

4.2.5.2、ML模型预测

4.2.5.3、Model Serving Patterns—两个维度得到四种 ML架构模式

4.2.5.3.1、架构模式之Forecast

4.2.5.3.2、架构模式之Web-Service

4.2.5.3.3、架构模式之Online Learning

4.2.5.3.4、架构模式之AutoML

4.2.6、ML Model serialization formats 机器学习模型序列化格式

4.2.6.1、Language-agnostic exchange formats语言无关交换格式

4.2.6.1.1、合并是导出ML模型的最简单方法

4.2.6.1.2、PMML是一种基于XML的模型服务格式

4.2.6.1.3、PFA(Portable Format for Analytics,便携式分析格式)旨在替代 PMML

4.2.6.1.4、ONNX(Open Neural Network eXchange,开放神经网络交换)是一种独立于 ML 框架的文件格式

4.2.6.2、Vendor-specific exchange formats供应商特定的交换格式

4.3、Code: Deployment Pipelines

4.3.1、Model Serving Patterns模型服务模式

4.3.1.1、Model-as-Service模型即服务

4.3.1.2、Model-as-Dependency模型即依赖

4.3.1.3、Precompute Serving Pattern 预计算服务模式

4.3.1.4、Model-on-Demand按需模型

4.3.1.5、Hybrid-Serving混合服务(联邦学习)

4.3.2、Deployment Strategies部署策略

4.3.2.1、Deploying ML Models as Docker Containers将ML模型部署为Docker容器

4.3.2.2、Deploying ML Models as Serverless Functions将ML模型部署为无服务器函数


相关文章
|
25天前
|
机器学习/深度学习 数据采集 监控
构建高效机器学习模型的五大关键步骤
在数据科学领域,搭建一个高效的机器学习模型是实现数据驱动决策的核心。本文详细阐述了从数据预处理到模型评估五个关键步骤,旨在为读者提供一个清晰的建模流程。文中不仅介绍了各个步骤的理论依据,还结合了实用的技术细节,以期帮助读者在实际工作中构建出既健壮又精确的机器学习系统。
23 5
|
1月前
|
机器学习/深度学习 自然语言处理 并行计算
大模型开发:什么是Transformer架构及其重要性?
Transformer模型革新了NLP,以其高效的并行计算和自注意力机制解决了长距离依赖问题。从机器翻译到各种NLP任务,Transformer展现出卓越性能,其编码器-解码器结构结合自注意力层和前馈网络,实现高效训练。此架构已成为领域内重要里程碑。
30 2
|
8月前
|
机器学习/深度学习 人工智能 算法
深度强化学习中实验环境-开源平台框架汇总
深度强化学习中实验环境-开源平台框架汇总
189 0
|
存储 人工智能 Prometheus
ML 模型监控最佳工具(上)
如果您迟早将模型部署到生产环境,那么您将开始寻找 ML 模型监控工具。 当您的 ML 模型影响业务时,您只需要了解“事物是如何工作的”。 当事物停止工作时,你真正感受到这一点的第一刻。如果没有设置模型监控,您可能不知道哪里出了问题以及从哪里开始寻找问题和解决方案。
|
1月前
|
机器学习/深度学习 数据采集 监控
构建高效机器学习模型的实用指南
【2月更文挑战第30天】 在数据驱动的时代,机器学习已经成为创新的核心动力。然而,建立一个既高效又准确的模型并非易事。本文将深入探讨如何从数据处理到模型评估各个阶段提升机器学习模型的性能。我们将分享一系列实用的技巧和最佳实践,涵盖数据预处理、特征工程、选择合适的算法、调参以及模型部署等方面,旨在帮助从业者构建出能够解决实际问题的高效机器学习系统。
|
3月前
|
机器学习/深度学习 PyTorch TensorFlow
iOS设备功能和框架: 什么是 Core ML?如何在应用中集成机器学习模型?
iOS设备功能和框架: 什么是 Core ML?如何在应用中集成机器学习模型?
27 0
|
5月前
|
机器学习/深度学习 人工智能 架构师
Azure - 机器学习:快速训练、部署模型
Azure - 机器学习:快速训练、部署模型
338 0
|
机器学习/深度学习 人工智能 自然语言处理
机器学习模型集成管理介绍
机器学习模型集成管理介绍
128 0
|
机器学习/深度学习 存储 人工智能
TensorFlow Quantum:建立在量子架构上工作的机器学习模型
TensorFlow Quantum:建立在量子架构上工作的机器学习模型
177 0
TensorFlow Quantum:建立在量子架构上工作的机器学习模型
|
机器学习/深度学习 人工智能 监控
ML 模型监控最佳工具(下)
如果您迟早将模型部署到生产环境,那么您将开始寻找 ML 模型监控工具。 当您的 ML 模型影响业务时,您只需要了解“事物是如何工作的”。 当事物停止工作时,你真正感受到这一点的第一刻。如果没有设置模型监控,您可能不知道哪里出了问题以及从哪里开始寻找问题和解决方案。