对象存储适合人工智能和机器学习的三个原因

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,内容安全 1000次 1年
对象存储 OSS,恶意文件检测 1000次 1年
简介: 如今,各种类型的企业都致力于采用人工智能和机器学习项目,但要发挥其真正的潜力,则需要克服重大的技术障碍。虽然计算基础设施通常是重点,但存储设施也同样重要。

云栖号资讯:【点击查看更多行业资讯
在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来!

image

如今,各种类型的企业都致力于采用人工智能和机器学习项目,但要发挥其真正的潜力,则需要克服重大的技术障碍。虽然计算基础设施通常是重点,但存储设施也同样重要。以下是对象存储(而不是文件或块存储)适用在加强人工智能和机器学习工作负载的三个主要原因:

1.可扩展性

当有大量不同的数据源可供学习时,采用人工智能和机器学习技术最有效。数据科学家利用这些丰富的数据来训练领域模型。在“大数据的五个V”(数量、类型、速度、准确性和价值)中,前两个(数量和类型)最为重要。简而言之,人工智能和机器学习依赖于大量不同的数据(图像、文本、结构化和半结构化数据)来构建有用的模型,提供准确的结果,并最终提供业务价值。

对象存储是很具扩展性的存储架构,特别适合支持人工智能和机器学习所需的大量数据。对象存储旨在通过水平扩展方法实现无限增长,从而使企业可以通过在需要的位置和时间添加节点来增加部署。由于对象存储使用单个全局名称空间,因此也可以一次在多个地理位置上进行这种扩展。另一方面,文件和块系统通常采用扩展方法。这意味着这些平台通过向单个节点添加更多计算资源来实现垂直扩展,这最终会受到限制。他们无法通过部署其他节点来增加计算资源,从而无法有效地水平扩展。

2. API

健壮灵活的数据API对于人工智能和机器学习非常重要,如上所述,它们使用了多种数据类型。存储平台需要支持API来容纳各种数据。此外,人工智能和机器学习的创新越来越多地在公共云上进行,但是仍然有相当一部分人工智能和机器学习在内部部署数据中心或私有云中发生,这取决于用例的具体情况(例如,科学研究和医疗保健等领域通常最适合私有云)。这意味着组织需要一个存储API,以支持公共云和本地/私有云中的工作负载。

文件和块存储平台所支持的API受限制,部分原因是它们是较旧的架构。相比之下,对象存储使用云平台中固有的高级API,该API设计为以应用程序为中心,与文件和块存储相比,它支持范围更广的API,其中包括版本控制、生命周期管理、加密、对象锁定和元数据。此外,支持人工智能和机器学习用例的新对象存储API(例如对流数据的支持和对海量数据集的查询的支持)也是可能的。

通过围绕Amazon S3的对象存储API的标准化,可以更轻松地在内部部署和公共云中集成软件。企业可以轻松地将人工智能和机器学习部署从内部部署/私有云环境扩展到公共云,或者将云原生的人工智能和机器学习工作负载迁移到内部部署环境,而不会损失功能。这种双模式方法使组织可以合作且可互换地利用内部部署/私有云和公共云资源。

由于S3 API已成为对象存储的事实上的标准,因此许多软件工具和库都可以利用该API。这允许共享代码、软件和工具,以促进人工智能和机器学习社区中更快的开发。示例包括流行的机器学习平台,例如具有内置S3 API的TensorFlow和Apache Spark。

3.元数据

与API一样,使用人工智能和机器学习的组织必须利用无限的可自定义的元数据,这一点至关重要。元数据只是关于数据的数据,在最基本的层面上,是在何时何地创建的数据,以及是谁创建的数据。但是元数据可以描述更多内容:用户可以创建任意的元数据标记来描述他们想要的任何属性。

数据科学家需要丰富的元数据来查找特定数据以构建和使用其人工智能和机器学习模型。随着更多信息添加到数据中,元数据注释可逐步积累知识。

文件和块存储仅支持有限的元数据,例如上述基本属性。这在很大程度上可以归结为可扩展性,因为文件和块系统未配备快速无缝的增长功能,如果存储系统支持依赖大量数据集的人工智能和机器学习应用程序的丰富元数据,则自然会发生这种情况。但是,对象存储支持无限的、完全可自定义的元数据,从而使查找用于人工智能和机器学习算法的数据更加容易,并从中获得更好的见解。

以一家医院在X光图像上使用图像识别应用程序为例:使用元数据,可以使用TensorFlow模型分析添加到对象存储系统中的每个图像,然后为每个图像分配更加精细的元数据标签(例如,损伤类型、基于骨骼大小或生长的患者年龄或性别等)。TensorFlow模型可以在元数据上进行训练,并对其进行分析,得出新的患者见解(例如与五年前相比,如今20岁到30岁的妇女患上的骨科疾病更多)。

几乎每一家财富500强公司都在考虑采用人工智能和机器学习,可以想象这些技术将在可预见的将来成为最重要的企业IT计划。然而,要使人工智能和机器学习计划获得回报,企业必须利用正确的存储基础设施。对象存储由于其可扩展性、对各种API(特别是S3)的支持以及丰富的元数据,是人工智能和机器学习的优秀支柱。

【云栖号在线课堂】每天都有产品技术专家分享!
课程地址:https://yqh.aliyun.com/live

立即加入社群,与专家面对面,及时了解课程最新动态!
【云栖号在线课堂 社群】https://c.tb.cn/F3.Z8gvnK

原文发布时间:2020-06-02
本文作者: Gary Ogasawara
本文来自:“企业网D1Net”,了解相关信息可以关注“企业网D1Net

相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
相关文章
|
7天前
|
机器学习/深度学习 人工智能 安全
探索AI的未来:从机器学习到深度学习
【10月更文挑战第28天】本文将带你走进AI的世界,从机器学习的基本概念到深度学习的复杂应用,我们将一起探索AI的未来。你将了解到AI如何改变我们的生活,以及它在未来可能带来的影响。无论你是AI专家还是初学者,这篇文章都将为你提供新的视角和思考。让我们一起探索AI的奥秘,看看它将如何塑造我们的未来。
36 3
|
30天前
|
机器学习/深度学习 人工智能 监控
揭秘人工智能:机器学习的魔法
【10月更文挑战第6天】本文将带你走进人工智能的世界,了解机器学习如何改变我们的生活。我们将深入探讨机器学习的原理,以及它在各个领域的应用。同时,我们也会分享一些实用的代码示例,帮助你更好地理解和应用机器学习。无论你是初学者还是专业人士,这篇文章都将为你提供有价值的信息和启示。让我们一起探索这个神奇的领域吧!
|
18天前
|
机器学习/深度学习 人工智能 自然语言处理
人工智能与机器学习:探索未来的技术边界
【10月更文挑战第18天】 在这篇文章中,我们将深入探讨人工智能(AI)和机器学习(ML)的基础知识、应用领域以及未来趋势。通过对比分析,我们将揭示这些技术如何改变我们的生活和工作方式,并预测它们在未来可能带来的影响。文章旨在为读者提供一个全面而深入的理解,帮助他们更好地把握这一领域的发展趋势。
|
2天前
|
机器学习/深度学习 人工智能 自然语言处理
机器学习之解释性AI与可解释性机器学习
随着人工智能技术的广泛应用,机器学习模型越来越多地被用于决策过程。然而,这些模型,尤其是深度学习模型,通常被视为“黑箱”,难以理解其背后的决策逻辑。解释性AI(Explainable AI, XAI)和可解释性机器学习(Interpretable Machine Learning, IML)旨在解决这个问题,使模型的决策过程透明、可信。
13 2
|
3天前
|
机器学习/深度学习 数据采集 人工智能
揭秘AI:机器学习的魔法与代码
【10月更文挑战第33天】本文将带你走进AI的世界,了解机器学习的原理和应用。我们将通过Python代码示例,展示如何实现一个简单的线性回归模型。无论你是AI新手还是有经验的开发者,这篇文章都会给你带来新的启示。让我们一起探索AI的奥秘吧!
|
5天前
|
机器学习/深度学习 人工智能 自然语言处理
探索人工智能与机器学习的边界####
本文深入探讨了人工智能(AI)与机器学习(ML)领域的最新进展,重点分析了深度学习技术如何推动AI的边界不断扩展。通过具体案例研究,揭示了这些技术在图像识别、自然语言处理和自动驾驶等领域的应用现状及未来趋势。同时,文章还讨论了当前面临的挑战,如数据隐私、算法偏见和可解释性问题,并提出了相应的解决策略。 ####
|
6天前
|
机器学习/深度学习 人工智能 自然语言处理
探索AI的奥秘:机器学习入门指南
【10月更文挑战第30天】本篇文章是一份初学者友好的机器学习入门指南,旨在帮助读者理解并开始实践机器学习。我们将介绍机器学习的基本概念,包括监督学习、无监督学习和强化学习等。我们还将提供一些实用的代码示例,以帮助读者更好地理解和应用这些概念。无论你是编程新手,还是有一定经验的开发者,这篇文章都将为你提供一个清晰的机器学习入门路径。
22 2
|
14天前
|
机器学习/深度学习 数据采集 人工智能
揭秘AI的魔法:机器学习如何改变我们的世界
【10月更文挑战第22天】在这篇文章中,我们将深入探讨机器学习的奥秘,揭示它是如何在我们的日常生活中扮演着越来越重要的角色。从简单的数据分类到复杂的预测模型,机器学习的应用已经渗透到各个领域。我们将通过实例和代码示例,展示机器学习的基本概念、工作原理以及它如何改变我们的生活。无论你是科技爱好者还是对AI充满好奇的初学者,这篇文章都将为你打开一扇通往未来的大门。
|
24天前
|
机器学习/深度学习 存储 人工智能
揭秘机器学习背后的神秘力量:如何高效收集数据,让AI更懂你?
【10月更文挑战第12天】在数据驱动的时代,机器学习广泛应用,从智能推荐到自动驾驶。本文以电商平台个性化推荐系统为例,探讨数据收集方法,包括明确数据需求、选择数据来源、编写代码自动化收集、数据清洗与预处理及特征工程,最终完成数据的训练集和测试集划分,为模型训练奠定基础。
36 3
|
2天前
|
机器学习/深度学习 人工智能 安全
人工智能与机器学习在网络安全中的应用
人工智能与机器学习在网络安全中的应用
9 0
下一篇
无影云桌面