DLOps:用于深度学习的 MLOps(Valohai)

简介: 机器学习运维 (MLOps) 刚刚成为一个被广泛认可的概念——尽管不一定被广泛理解或认同。 但是,如果您在科技领域工作了很长时间,你就会知道下一个新的缩写词已经在角落里嗡嗡响了。DLOps 即深度学习运维,是 MLOps 的演变,旨在解决深度学习带来的独特运维挑战。 持怀疑态度的人可能会认为这是用一个新的流行词不必要地来搅浑水,但看看 DLOps 可能与 MLOps 不同的原因可能是有价值的。为此,我们应该先看看机器学习和深度学习之间的区别。

机器学习和深度学习的区别

深度学习是机器学习中涉及深度神经网络的一个概念。

一般来说,深度学习与传统机器学习的显著区别在于,深度学习可以解决特征工程复杂或难处理的问题(最常见的是结构化数据与非结构化数据)。

假设您想区分鲨鱼和海豚。 如果您有关于动物的表格数据,您将很容易找出重量、长度,也许还有重量与长度的比率是必不可少的信息。 另一方面,如果你有一组图片,你就很难确定哪些像素、形状、颜色等是必不可少的信息。 在这些情况下,首选深度学习,因为“特征工程”留给机器。

网络异常,图片无法展示
|


可以肯定地说,深度学习模型比传统的机器学习模型更大,并且更倾向于定制。 除此之外,深度学习模型通常与其他深度学习模型协同工作,使模型架构和训练管道更加复杂。

这并不是因为深度学习本身,而是它主要应用于涉及复杂问题的场景,例如:自然语言处理、语音识别、计算机视觉等。


DLOps 与 MLOps

回到原来的话题,DLOps。

首先,机器学习运维 (MLOps) 是用于开发、发布和维护机器学习能力的流程和工具的总称。

那么深度学习模型(与其他模型相比)在开发、发布和维护方面有什么不同吗?

大多数情况下,没有。同样的最佳实践往往适用。对数据、代码和参数的所有内容进行版本控制同样重要,自动化工作流程将产生类似的好处。

然而,深度学习至少在三个领域有其独特之处:

  1. 数据基础设施:数据处理和管理可能完全不同。大多数数据区域都专注于解决结构化数据中的问题。例如,特征存储(在 MLOps 中非常流行)与深度学习无关。
  2. 训练基础设施:训练简单的机器学习可以用相对较少的数据在 CPU 上快速完成。另一方面,深度学习涉及大量大文件(例如:图像),因此需要更多的计算能力和时间。
  3. 模型服务:实时在线推理是服务于许多机器学习模型的常见范式。对于深度学习模型,这种范式要么更难以实现,要么完全无效。例如,人脸识别应该在边缘进行,以确保即使互联网连接不佳也能正常工作。

在为深度学习构建技术堆栈时,您的决定可能与使用传统机器学习的人不同。例如,并行化和 GPU 机器可能与机器学习无关,但它们却有助于从一开始开发深度学习。

另一方面,某些几乎事实上用于传统机器学习(和结构化数据)的技术,例如:AutoML 和 Spark,并没有真正用于开发深度学习模型

那么有没有足够的差异来正当理由新的术语呢?可能没有,但时间会证明一切。


DLOps 和 Valohai

Valohai 最初是为深度学习而构建的。 我们发现,对于从事深度学习的数据科学家来说,访问计算资源是一个重要的绊脚石。 因此,我们非常重视机器编排。 今天,我们仍然看到灵活利用最强大和最具成本效益的机器对于深度学习场景更有价值。

然而,我们没有将自己定位为 DLOps 平台,而是认为 Valohai 是团队构建自定义模型的最佳平台。 我们强调技术不可知论、机器编排和所有场景自动化。


相关文章
|
6月前
|
机器学习/深度学习 算法 大数据
机器学习与深度学习介绍
机器学习与深度学习介绍
|
8天前
|
机器学习/深度学习 人工智能 算法
探索深度学习的最新进展
探索深度学习的最新进展
25 1
|
3月前
|
机器学习/深度学习 人工智能 算法
探索AI的魔法:机器学习与深度学习的奥秘
【8月更文挑战第27天】在这篇文章中,我们将深入探讨人工智能的两个重要分支:机器学习和深度学习。我们将首先理解它们的基本概念,然后通过Python代码示例,展示如何应用这些技术解决实际问题。无论你是AI新手,还是有经验的开发者,这篇文章都将为你提供新的知识和启示。让我们一起开启这场AI的魔法之旅吧!
|
3月前
|
机器学习/深度学习 人工智能 自然语言处理
什么是深度学习模型?如何部署它?
【8月更文挑战第23天】
158 0
|
3月前
|
机器学习/深度学习 数据采集 监控
深度学习之在线学习与适应
基于深度学习的在线学习与适应,旨在开发能够在不断变化的环境中实时学习和调整的模型,使其在面对新数据或新任务时能够迅速适应并维持高性能。
64 0
|
6月前
|
机器学习/深度学习 人工智能 自然语言处理
机器学习与深度学习
机器学习与深度学习的区别
41 0
|
机器学习/深度学习 人工智能 Python
深度学习AI克隆人声模型
深度学习AI克隆人声模型
208 0
|
机器学习/深度学习 人工智能 算法
【深度学习】(一)机器学习基础
AI人工智能包含的内容十分广泛,对于图像处理而言,机器学习、深度学习或者计算机视觉主要关注图像识别这部分内容,所以重点学习CNN卷积神经网络。今天先从上古时期的机器学习开始。
152 0
【深度学习】(一)机器学习基础
|
机器学习/深度学习 数据采集 人工智能
什么是机器学习(五分钟带你了解人工智能,机器学习,深度学习)
什么是机器学习(五分钟带你了解人工智能,机器学习,深度学习)
174 0
|
机器学习/深度学习 算法 数据挖掘
深度学习与机器学习有何不同?
深度学习与机器学习有何不同?
138 0
深度学习与机器学习有何不同?
下一篇
无影云桌面