DLOps:用于深度学习的 MLOps(Valohai)

简介: 机器学习运维 (MLOps) 刚刚成为一个被广泛认可的概念——尽管不一定被广泛理解或认同。 但是,如果您在科技领域工作了很长时间,你就会知道下一个新的缩写词已经在角落里嗡嗡响了。DLOps 即深度学习运维,是 MLOps 的演变,旨在解决深度学习带来的独特运维挑战。 持怀疑态度的人可能会认为这是用一个新的流行词不必要地来搅浑水,但看看 DLOps 可能与 MLOps 不同的原因可能是有价值的。为此,我们应该先看看机器学习和深度学习之间的区别。

机器学习和深度学习的区别

深度学习是机器学习中涉及深度神经网络的一个概念。

一般来说,深度学习与传统机器学习的显著区别在于,深度学习可以解决特征工程复杂或难处理的问题(最常见的是结构化数据与非结构化数据)。

假设您想区分鲨鱼和海豚。 如果您有关于动物的表格数据,您将很容易找出重量、长度,也许还有重量与长度的比率是必不可少的信息。 另一方面,如果你有一组图片,你就很难确定哪些像素、形状、颜色等是必不可少的信息。 在这些情况下,首选深度学习,因为“特征工程”留给机器。

网络异常,图片无法展示
|


可以肯定地说,深度学习模型比传统的机器学习模型更大,并且更倾向于定制。 除此之外,深度学习模型通常与其他深度学习模型协同工作,使模型架构和训练管道更加复杂。

这并不是因为深度学习本身,而是它主要应用于涉及复杂问题的场景,例如:自然语言处理、语音识别、计算机视觉等。


DLOps 与 MLOps

回到原来的话题,DLOps。

首先,机器学习运维 (MLOps) 是用于开发、发布和维护机器学习能力的流程和工具的总称。

那么深度学习模型(与其他模型相比)在开发、发布和维护方面有什么不同吗?

大多数情况下,没有。同样的最佳实践往往适用。对数据、代码和参数的所有内容进行版本控制同样重要,自动化工作流程将产生类似的好处。

然而,深度学习至少在三个领域有其独特之处:

  1. 数据基础设施:数据处理和管理可能完全不同。大多数数据区域都专注于解决结构化数据中的问题。例如,特征存储(在 MLOps 中非常流行)与深度学习无关。
  2. 训练基础设施:训练简单的机器学习可以用相对较少的数据在 CPU 上快速完成。另一方面,深度学习涉及大量大文件(例如:图像),因此需要更多的计算能力和时间。
  3. 模型服务:实时在线推理是服务于许多机器学习模型的常见范式。对于深度学习模型,这种范式要么更难以实现,要么完全无效。例如,人脸识别应该在边缘进行,以确保即使互联网连接不佳也能正常工作。

在为深度学习构建技术堆栈时,您的决定可能与使用传统机器学习的人不同。例如,并行化和 GPU 机器可能与机器学习无关,但它们却有助于从一开始开发深度学习。

另一方面,某些几乎事实上用于传统机器学习(和结构化数据)的技术,例如:AutoML 和 Spark,并没有真正用于开发深度学习模型

那么有没有足够的差异来正当理由新的术语呢?可能没有,但时间会证明一切。


DLOps 和 Valohai

Valohai 最初是为深度学习而构建的。 我们发现,对于从事深度学习的数据科学家来说,访问计算资源是一个重要的绊脚石。 因此,我们非常重视机器编排。 今天,我们仍然看到灵活利用最强大和最具成本效益的机器对于深度学习场景更有价值。

然而,我们没有将自己定位为 DLOps 平台,而是认为 Valohai 是团队构建自定义模型的最佳平台。 我们强调技术不可知论、机器编排和所有场景自动化。


相关文章
|
3月前
|
机器学习/深度学习 人工智能 安全
探索AI的未来:从机器学习到深度学习
【10月更文挑战第28天】本文将带你走进AI的世界,从机器学习的基本概念到深度学习的复杂应用,我们将一起探索AI的未来。你将了解到AI如何改变我们的生活,以及它在未来可能带来的影响。无论你是AI专家还是初学者,这篇文章都将为你提供新的视角和思考。让我们一起探索AI的奥秘,看看它将如何塑造我们的未来。
125 3
|
3月前
|
机器学习/深度学习 人工智能 自然语言处理
深入理解深度学习:从基础到前沿
本文将带你走进深度学习的世界,从基础概念到前沿应用,让你对深度学习有更深入的理解。我们将通过简单易懂的语言和生动的比喻,让你轻松掌握深度学习的核心知识。同时,我们还会分享一些实用的技巧和方法,帮助你更好地运用深度学习解决实际问题。无论你是初学者还是有一定基础的学习者,这篇文章都将为你提供有价值的参考和启示。让我们一起探索深度学习的奥秘吧!
186 1
|
3月前
|
机器学习/深度学习 人工智能 算法
探索深度学习的最新进展
探索深度学习的最新进展
93 1
|
4月前
|
机器学习/深度学习 自然语言处理 计算机视觉
深度学习中的迁移学习技术
【10月更文挑战第11天】 本文探讨了深度学习中的迁移学习技术,并深入分析了其原理、应用场景及实现方法。通过实例解析,展示了迁移学习如何有效提升模型性能和开发效率。同时,文章也讨论了迁移学习面临的挑战及其未来发展方向。
|
4月前
|
机器学习/深度学习 数据采集 自然语言处理
通过深度学习实践来理解深度学习的核心概念
通过实践,不仅可以加深对深度学习概念的理解,还能发现理论与实际之间的差距,进而对模型进行改进和优化。实践中遇到的问题(如梯度消失、过拟合、训练效率低等)能促使你深入思考,进而更加全面地掌握深度学习的核心概念。
67 4
|
4月前
|
机器学习/深度学习 人工智能 自然语言处理
深入理解深度学习:从基础到实践
【9月更文挑战第33天】本文将深入探讨深度学习的基本原理,包括神经网络的构建、训练和优化等关键步骤。我们将通过实际代码示例,展示如何利用深度学习解决实际问题,如图像识别和自然语言处理等。无论你是初学者还是有经验的开发者,都能从中获得新的启示和思考。
70 1
|
5月前
|
机器学习/深度学习 存储 人工智能
基于深度学习的认知架构的AI
基于深度学习的认知架构的AI是一类模仿人类认知过程的人工智能系统,旨在模拟人类感知、学习、推理、决策等复杂的认知功能。认知架构的目的是创建一个能够理解和处理复杂环境、实现自我学习和适应的AI系统
96 3
|
6月前
|
机器学习/深度学习 人工智能 算法
探索AI的魔法:机器学习与深度学习的奥秘
【8月更文挑战第27天】在这篇文章中,我们将深入探讨人工智能的两个重要分支:机器学习和深度学习。我们将首先理解它们的基本概念,然后通过Python代码示例,展示如何应用这些技术解决实际问题。无论你是AI新手,还是有经验的开发者,这篇文章都将为你提供新的知识和启示。让我们一起开启这场AI的魔法之旅吧!
|
6月前
|
机器学习/深度学习 数据采集 监控
深度学习之在线学习与适应
基于深度学习的在线学习与适应,旨在开发能够在不断变化的环境中实时学习和调整的模型,使其在面对新数据或新任务时能够迅速适应并维持高性能。
109 0
|
7月前
|
机器学习/深度学习 人工智能 自然语言处理
探索深度学习:从基础到前沿
在本文中,我们将深入探讨深度学习的基本原理,并揭示其在多个领域的应用。通过分析最新的研究成果和案例研究,我们旨在为读者提供一个全面的视角,以理解深度学习如何塑造我们的未来。 【7月更文挑战第20天】
55 0

热门文章

最新文章