DLOps:用于深度学习的 MLOps(Valohai)

简介: 机器学习运维 (MLOps) 刚刚成为一个被广泛认可的概念——尽管不一定被广泛理解或认同。 但是,如果您在科技领域工作了很长时间,你就会知道下一个新的缩写词已经在角落里嗡嗡响了。DLOps 即深度学习运维,是 MLOps 的演变,旨在解决深度学习带来的独特运维挑战。 持怀疑态度的人可能会认为这是用一个新的流行词不必要地来搅浑水,但看看 DLOps 可能与 MLOps 不同的原因可能是有价值的。为此,我们应该先看看机器学习和深度学习之间的区别。

机器学习和深度学习的区别

深度学习是机器学习中涉及深度神经网络的一个概念。

一般来说,深度学习与传统机器学习的显著区别在于,深度学习可以解决特征工程复杂或难处理的问题(最常见的是结构化数据与非结构化数据)。

假设您想区分鲨鱼和海豚。 如果您有关于动物的表格数据,您将很容易找出重量、长度,也许还有重量与长度的比率是必不可少的信息。 另一方面,如果你有一组图片,你就很难确定哪些像素、形状、颜色等是必不可少的信息。 在这些情况下,首选深度学习,因为“特征工程”留给机器。

网络异常,图片无法展示
|


可以肯定地说,深度学习模型比传统的机器学习模型更大,并且更倾向于定制。 除此之外,深度学习模型通常与其他深度学习模型协同工作,使模型架构和训练管道更加复杂。

这并不是因为深度学习本身,而是它主要应用于涉及复杂问题的场景,例如:自然语言处理、语音识别、计算机视觉等。


DLOps 与 MLOps

回到原来的话题,DLOps。

首先,机器学习运维 (MLOps) 是用于开发、发布和维护机器学习能力的流程和工具的总称。

那么深度学习模型(与其他模型相比)在开发、发布和维护方面有什么不同吗?

大多数情况下,没有。同样的最佳实践往往适用。对数据、代码和参数的所有内容进行版本控制同样重要,自动化工作流程将产生类似的好处。

然而,深度学习至少在三个领域有其独特之处:

  1. 数据基础设施:数据处理和管理可能完全不同。大多数数据区域都专注于解决结构化数据中的问题。例如,特征存储(在 MLOps 中非常流行)与深度学习无关。
  2. 训练基础设施:训练简单的机器学习可以用相对较少的数据在 CPU 上快速完成。另一方面,深度学习涉及大量大文件(例如:图像),因此需要更多的计算能力和时间。
  3. 模型服务:实时在线推理是服务于许多机器学习模型的常见范式。对于深度学习模型,这种范式要么更难以实现,要么完全无效。例如,人脸识别应该在边缘进行,以确保即使互联网连接不佳也能正常工作。

在为深度学习构建技术堆栈时,您的决定可能与使用传统机器学习的人不同。例如,并行化和 GPU 机器可能与机器学习无关,但它们却有助于从一开始开发深度学习。

另一方面,某些几乎事实上用于传统机器学习(和结构化数据)的技术,例如:AutoML 和 Spark,并没有真正用于开发深度学习模型

那么有没有足够的差异来正当理由新的术语呢?可能没有,但时间会证明一切。


DLOps 和 Valohai

Valohai 最初是为深度学习而构建的。 我们发现,对于从事深度学习的数据科学家来说,访问计算资源是一个重要的绊脚石。 因此,我们非常重视机器编排。 今天,我们仍然看到灵活利用最强大和最具成本效益的机器对于深度学习场景更有价值。

然而,我们没有将自己定位为 DLOps 平台,而是认为 Valohai 是团队构建自定义模型的最佳平台。 我们强调技术不可知论、机器编排和所有场景自动化。


相关文章
|
算法 数据库 计算机视觉
Dataset之COCO数据集:COCO数据集的简介、下载、使用方法之详细攻略
Dataset之COCO数据集:COCO数据集的简介、下载、使用方法之详细攻略
|
7月前
|
机器学习/深度学习 人工智能 算法
AI鱼类识别技术原理及示例代码
本文详细解析了AI鱼类识别的代码示例,涵盖深度学习框架选择、数据集处理、模型构建与训练优化全流程。内容包括技术选型对比(如TensorFlow、PyTorch、YOLO系列)、数据准备流程(开源数据集与标注规范)、完整代码示例(以PyTorch版ResNet50改进模型为例)以及模型优化策略(如量化压缩、知识蒸馏)。此外,还提供了典型应用场景(如渔业资源监测系统)、模型评估指标及开源项目推荐,并针对常见问题(小样本、水下模糊、类别不平衡等)提出解决方案。
|
机器学习/深度学习 编解码 监控
目标检测实战(六): 使用YOLOv8完成对图像的目标检测任务(从数据准备到训练测试部署的完整流程)
这篇文章详细介绍了如何使用YOLOv8进行目标检测任务,包括环境搭建、数据准备、模型训练、验证测试以及模型转换等完整流程。
19650 59
目标检测实战(六): 使用YOLOv8完成对图像的目标检测任务(从数据准备到训练测试部署的完整流程)
|
SQL 存储 调度
从 Volcano 火山模型到 Pipeline 执行模型,阿里云数据库 SelectDB 内核 Apache Doris 执行模型的迭代
一个合适的执行模型对于提高查询效率和系统性能至关重要。本文全面剖析 Apache Doris Pipeline 执行模型的设计与改造历程,并在 2.1 版本对并发执行模式与调度模式进一步优化,解决了执行并发受限、执行及调度开销大等问题。
63550 3
从 Volcano 火山模型到 Pipeline 执行模型,阿里云数据库 SelectDB 内核 Apache Doris 执行模型的迭代
|
机器学习/深度学习 分布式计算 大数据
|
Ubuntu Linux Docker
弃用Docker Desktop:在WSL2中玩转Docker之Docker Engine 部署与WSL入门
弃用Docker Desktop:在WSL2中玩转Docker之Docker Engine 部署与WSL入门
19939 4
|
监控 Ubuntu Linux
|
数据采集 数据管理 大数据
推荐 | AllData开源数据中台技术分享
AllData数据中台架构师团队全面解析开源项目[alldata](https://github.com/alldatacenter/alldata),涵盖功能设计、架构分析及源码解读。团队分享了项目总结、发展规划,推荐关注公众号“大数据商业驱动引擎”以获取更多信息。他们讨论了数据治理、调度引擎、商业化探索及未来规划,涉及元数据管理、数据安全、Airflow调度引擎等。此外,还介绍了数据平台功能,如用户管理、权限控制,并提到了商业化版本的源码支持。鼓励用户参与社区交流,共同推动项目发展。
推荐 | AllData开源数据中台技术分享
|
机器学习/深度学习 算法 数据挖掘
【机器学习】特征选择之包裹式特征选择法
【机器学习】特征选择之包裹式特征选择法
569 4