ML:MLOps系列讲解之《基于ML的软件的三个层次》解读

简介: ML:MLOps系列讲解之《基于ML的软件的三个层次》解读


ML:MLOps系列讲解之《基于ML的软件的三个层次》解读

导读:您将了解基于ML的软件的三个核心元素——数据、ML模型和代码。特别地,我们会将讨论:

(1)、数据工程管道

(2)、ML管道和ML工作流。

(3)、模型服务模式和部署策略

ML/AI迅速被新的应用程序和行业采用。如前所述,机器学习项目的目标是利用收集到的数据并应用机器学习算法来建立一个统计模型。然而,构建成功的基于ML的软件项目仍然很困难,因为每个基于ML的软件都需要管理三个主要资产:数据、模型和代码。机器学习模型操作化管理—MLOps,作为DevOps的扩展,围绕设计、构建和部署机器学习模型到生产中建立有效的实践和流程。我们在这里描述了在基于机器学习的软件开发中所涉及的基本技术方法,即数据工程、ML模型工程和软件发布工程

目录

4、《基于ML的软件的三个层次》解读

4.1、Data: Data Engineering Pipelines

4.1.1、Data Ingestion

4.1.2、Exploration and Validation

4.1.3、Data Splitting

4.2、Model: Machine Learning Pipelines

4.2.1、Model Training

4.2.2、Model Evaluation

4.2.3、Model Testing

4.2.4、Model Packaging

4.2.5、Different forms of ML workflows不同形式的机器学习工作流程

4.2.6、ML Model serialization formats 机器学习模型序列化格式

4.3、Code: Deployment Pipelines

4.3.1、Model Serving Patterns模型服务模式

4.3.2、Deployment Strategies部署策略


相关文章

ML:MLOps系列讲解之《基于ML的软件的三个层次》解读

ML:MLOps系列讲解之《基于ML的软件的三个层次之01 Data: Data Engineering Pipelines》解读

ML:MLOps系列讲解之《基于ML的软件的三个层次之02 Model: Machine Learning Pipelines 2.1~2.4》解读

ML:MLOps系列讲解之《基于ML的软件的三个层次之02 Model: Machine Learning Pipelines——2.5 Different forms of ML workflows不同形式的机器学习工作流程》解读

ML:MLOps系列讲解之《基于ML的软件的三个层次之02 Model: Machine Learning Pipelines——2.6 ML Model serialization formats 机器学习模型序列化格式》解读

ML:MLOps系列讲解之《基于ML的软件的三个层次之03 Code: Deployment Pipelines》解读

4、《基于ML的软件的三个层次》解读

4.1、Data: Data Engineering Pipelines

4.1.1、Data Ingestion

4.1.2、Exploration and Validation

4.1.3、Data Splitting

4.2、Model: Machine Learning Pipelines

4.2.1、Model Training

(1)、特征工程

(2)、模型工程的工作流

4.2.2、Model Evaluation

4.2.3、Model Testing

4.2.4、Model Packaging

4.2.5、Different forms of ML workflows不同形式的机器学习工作流程

4.2.5.1、ML模型训练

4.2.5.2、ML模型预测

4.2.5.3、Model Serving Patterns—两个维度得到四种 ML架构模式

4.2.5.3.1、架构模式之Forecast

4.2.5.3.2、架构模式之Web-Service

4.2.5.3.3、架构模式之Online Learning

4.2.5.3.4、架构模式之AutoML

4.2.6、ML Model serialization formats 机器学习模型序列化格式

4.2.6.1、Language-agnostic exchange formats语言无关交换格式

4.2.6.1.1、合并是导出ML模型的最简单方法

4.2.6.1.2、PMML是一种基于XML的模型服务格式

4.2.6.1.3、PFA(Portable Format for Analytics,便携式分析格式)旨在替代 PMML

4.2.6.1.4、ONNX(Open Neural Network eXchange,开放神经网络交换)是一种独立于 ML 框架的文件格式

4.2.6.2、Vendor-specific exchange formats供应商特定的交换格式

4.3、Code: Deployment Pipelines

4.3.1、Model Serving Patterns模型服务模式

4.3.1.1、Model-as-Service模型即服务

4.3.1.2、Model-as-Dependency模型即依赖

4.3.1.3、Precompute Serving Pattern 预计算服务模式

4.3.1.4、Model-on-Demand按需模型

4.3.1.5、Hybrid-Serving混合服务(联邦学习)

4.3.2、Deployment Strategies部署策略

4.3.2.1、Deploying ML Models as Docker Containers将ML模型部署为Docker容器

4.3.2.2、Deploying ML Models as Serverless Functions将ML模型部署为无服务器函数


相关文章
|
6月前
|
机器学习/深度学习 自然语言处理 并行计算
大模型开发:什么是Transformer架构及其重要性?
Transformer模型革新了NLP,以其高效的并行计算和自注意力机制解决了长距离依赖问题。从机器翻译到各种NLP任务,Transformer展现出卓越性能,其编码器-解码器结构结合自注意力层和前馈网络,实现高效训练。此架构已成为领域内重要里程碑。
196 2
|
机器学习/深度学习 人工智能 算法
深度强化学习中实验环境-开源平台框架汇总
深度强化学习中实验环境-开源平台框架汇总
284 0
|
14天前
|
机器学习/深度学习 监控 PyTorch
深度学习工程实践:PyTorch Lightning与Ignite框架的技术特性对比分析
在深度学习框架的选择上,PyTorch Lightning和Ignite代表了两种不同的技术路线。本文将从技术实现的角度,深入分析这两个框架在实际应用中的差异,为开发者提供客观的技术参考。
34 7
|
3月前
|
机器学习/深度学习 算法 PyTorch
PyTorch Lightning:简化深度学习研究与开发
【8月更文第27天】PyTorch Lightning 是一个用于简化 PyTorch 开发流程的轻量级封装库。它的目标是让研究人员和开发者能够更加专注于算法和模型的设计,而不是被训练循环和各种低级细节所困扰。通过使用 PyTorch Lightning,开发者可以更容易地进行实验、调试和复现结果,从而加速研究与开发的过程。
139 1
|
6月前
|
机器学习/深度学习 PyTorch API
大规模 MLOps 工程(四)(1)
大规模 MLOps 工程(四)
44 1
|
6月前
|
机器学习/深度学习 存储 算法
大规模 MLOps 工程(四)(3)
大规模 MLOps 工程(四)
49 1
|
6月前
|
机器学习/深度学习 存储 自然语言处理
大规模 MLOps 工程(三)(4)
大规模 MLOps 工程(三)
66 0
|
6月前
|
机器学习/深度学习 存储 资源调度
大规模 MLOps 工程(二)(1)
大规模 MLOps 工程(二)
62 0
|
6月前
|
机器学习/深度学习 并行计算 PyTorch
大规模 MLOps 工程(三)(1)
大规模 MLOps 工程(三)
38 0
|
6月前
|
机器学习/深度学习 算法 PyTorch
大规模 MLOps 工程(二)(5)
大规模 MLOps 工程(二)
38 0