ML:MLOps系列讲解之《基于ML的软件的三个层次》解读

简介: ML:MLOps系列讲解之《基于ML的软件的三个层次》解读


ML:MLOps系列讲解之《基于ML的软件的三个层次》解读

导读:您将了解基于ML的软件的三个核心元素——数据、ML模型和代码。特别地,我们会将讨论:

(1)、数据工程管道

(2)、ML管道和ML工作流。

(3)、模型服务模式和部署策略

ML/AI迅速被新的应用程序和行业采用。如前所述,机器学习项目的目标是利用收集到的数据并应用机器学习算法来建立一个统计模型。然而,构建成功的基于ML的软件项目仍然很困难,因为每个基于ML的软件都需要管理三个主要资产:数据、模型和代码。机器学习模型操作化管理—MLOps,作为DevOps的扩展,围绕设计、构建和部署机器学习模型到生产中建立有效的实践和流程。我们在这里描述了在基于机器学习的软件开发中所涉及的基本技术方法,即数据工程、ML模型工程和软件发布工程

目录

4、《基于ML的软件的三个层次》解读

4.1、Data: Data Engineering Pipelines

4.1.1、Data Ingestion

4.1.2、Exploration and Validation

4.1.3、Data Splitting

4.2、Model: Machine Learning Pipelines

4.2.1、Model Training

4.2.2、Model Evaluation

4.2.3、Model Testing

4.2.4、Model Packaging

4.2.5、Different forms of ML workflows不同形式的机器学习工作流程

4.2.6、ML Model serialization formats 机器学习模型序列化格式

4.3、Code: Deployment Pipelines

4.3.1、Model Serving Patterns模型服务模式

4.3.2、Deployment Strategies部署策略


相关文章

ML:MLOps系列讲解之《基于ML的软件的三个层次》解读

ML:MLOps系列讲解之《基于ML的软件的三个层次之01 Data: Data Engineering Pipelines》解读

ML:MLOps系列讲解之《基于ML的软件的三个层次之02 Model: Machine Learning Pipelines 2.1~2.4》解读

ML:MLOps系列讲解之《基于ML的软件的三个层次之02 Model: Machine Learning Pipelines——2.5 Different forms of ML workflows不同形式的机器学习工作流程》解读

ML:MLOps系列讲解之《基于ML的软件的三个层次之02 Model: Machine Learning Pipelines——2.6 ML Model serialization formats 机器学习模型序列化格式》解读

ML:MLOps系列讲解之《基于ML的软件的三个层次之03 Code: Deployment Pipelines》解读

4、《基于ML的软件的三个层次》解读

4.1、Data: Data Engineering Pipelines

4.1.1、Data Ingestion

4.1.2、Exploration and Validation

4.1.3、Data Splitting

4.2、Model: Machine Learning Pipelines

4.2.1、Model Training

(1)、特征工程

(2)、模型工程的工作流

4.2.2、Model Evaluation

4.2.3、Model Testing

4.2.4、Model Packaging

4.2.5、Different forms of ML workflows不同形式的机器学习工作流程

4.2.5.1、ML模型训练

4.2.5.2、ML模型预测

4.2.5.3、Model Serving Patterns—两个维度得到四种 ML架构模式

4.2.5.3.1、架构模式之Forecast

4.2.5.3.2、架构模式之Web-Service

4.2.5.3.3、架构模式之Online Learning

4.2.5.3.4、架构模式之AutoML

4.2.6、ML Model serialization formats 机器学习模型序列化格式

4.2.6.1、Language-agnostic exchange formats语言无关交换格式

4.2.6.1.1、合并是导出ML模型的最简单方法

4.2.6.1.2、PMML是一种基于XML的模型服务格式

4.2.6.1.3、PFA(Portable Format for Analytics,便携式分析格式)旨在替代 PMML

4.2.6.1.4、ONNX(Open Neural Network eXchange,开放神经网络交换)是一种独立于 ML 框架的文件格式

4.2.6.2、Vendor-specific exchange formats供应商特定的交换格式

4.3、Code: Deployment Pipelines

4.3.1、Model Serving Patterns模型服务模式

4.3.1.1、Model-as-Service模型即服务

4.3.1.2、Model-as-Dependency模型即依赖

4.3.1.3、Precompute Serving Pattern 预计算服务模式

4.3.1.4、Model-on-Demand按需模型

4.3.1.5、Hybrid-Serving混合服务(联邦学习)

4.3.2、Deployment Strategies部署策略

4.3.2.1、Deploying ML Models as Docker Containers将ML模型部署为Docker容器

4.3.2.2、Deploying ML Models as Serverless Functions将ML模型部署为无服务器函数


相关文章
|
1月前
|
机器学习/深度学习 数据采集 监控
构建高效机器学习模型的五大关键步骤
在数据科学领域,搭建一个高效的机器学习模型是实现数据驱动决策的核心。本文详细阐述了从数据预处理到模型评估五个关键步骤,旨在为读者提供一个清晰的建模流程。文中不仅介绍了各个步骤的理论依据,还结合了实用的技术细节,以期帮助读者在实际工作中构建出既健壮又精确的机器学习系统。
30 5
|
1月前
|
机器学习/深度学习 自然语言处理 并行计算
大模型开发:什么是Transformer架构及其重要性?
Transformer模型革新了NLP,以其高效的并行计算和自注意力机制解决了长距离依赖问题。从机器翻译到各种NLP任务,Transformer展现出卓越性能,其编码器-解码器结构结合自注意力层和前馈网络,实现高效训练。此架构已成为领域内重要里程碑。
85 2
|
1月前
|
机器学习/深度学习 数据采集 监控
大模型开发:描述一个典型的机器学习项目流程。
机器学习项目涉及问题定义、数据收集、预处理、特征工程、模型选择、训练、评估、优化、部署和监控。每个阶段都是确保模型有效可靠的关键,需要细致操作。
32 0
|
存储 人工智能 Prometheus
ML 模型监控最佳工具(上)
如果您迟早将模型部署到生产环境,那么您将开始寻找 ML 模型监控工具。 当您的 ML 模型影响业务时,您只需要了解“事物是如何工作的”。 当事物停止工作时,你真正感受到这一点的第一刻。如果没有设置模型监控,您可能不知道哪里出了问题以及从哪里开始寻找问题和解决方案。
|
23天前
|
机器学习/深度学习 数据采集 人工智能
构建高效机器学习模型的七个关键步骤
【5月更文挑战第26天】 在数据驱动的时代,机器学习已成为创新和改进的关键工具。本文将详细阐述构建一个高效机器学习模型的七个关键步骤,包括问题定义、数据准备、特征选择、模型选择、训练与验证、参数调优以及模型部署。通过这些步骤的深入解析,读者将理解如何避免常见的陷阱,提升模型的性能和泛化能力。
|
17天前
|
机器学习/深度学习 数据采集 Python
机器学习模型的评估与选择标准
【6月更文挑战第1天】机器学习模型的评估至关重要,包括准确率、召回率、F1值和均方误差等指标。准确率衡量预测正确比例,召回率关注找出所有相关样本的能力,F1值是两者的综合。泛化能力同样重要,防止过拟合和欠拟合。不同场景可能侧重不同指标,如医疗诊断更关注召回率。选择模型需综合考虑多个因素,以实现最佳性能。通过实践和探索,我们可以更好地理解和优化模型评估,推动机器学习进步。
38 2
|
1月前
|
机器学习/深度学习 PyTorch TensorFlow
iOS设备功能和框架: 什么是 Core ML?如何在应用中集成机器学习模型?
iOS设备功能和框架: 什么是 Core ML?如何在应用中集成机器学习模型?
50 0
|
11月前
|
机器学习/深度学习 算法 搜索推荐
Stacking:解决机器学习进行多模型组合的实用工具
在机器学习领域,算法的选择和参数的调整一直是让人头痛的难题。虽然有很多算法可以使用,但没有一种算法是万能的。随着技术的不断发展,出现了一些新的技术可以在算法选择和调整参数方面提供一些帮助。其中最流行的技术之一是Stacking。 Stacking是一种用于增强机器学习模型性能的技术。该技术通过结合不同算法的预测结果来生成最终的预测结果。这种方法能够帮助解决许多机器学习问题,特别是当单一算法不足以解决问题时。
|
机器学习/深度学习 人工智能 分布式计算
机器学习平台PAI简测:PAI提供包含数据标注、模型构建、模型训练、模型部署、推理优化在内的AI开发全链路服务
机器学习平台PAI(Platform of Artificial Intelligence)是面向开发者和企业的机器学习/深度学习工程平台,提供包含数据标注、模型构建、模型训练、模型部署、推理优化在内的AI开发全链路服务,内置140+种优化算法,具备丰富的行业场景插件,为用户提供低门槛、高性能的云原生AI工程化能力。
|
机器学习/深度学习 人工智能 自然语言处理
机器学习模型集成管理介绍
机器学习模型集成管理介绍
133 0