数据爆炸时代云计算厂商的对象存储“勇担当”

本文涉及的产品
对象存储 OSS,20GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
文件存储 NAS,50GB 3个月
简介:

对象存储在企业级存储领域的应用处于早期阶段,但增长的趋势十分明显。IDC预测在2017年到2021年期间,全球软件定义存储市场的复合年增长率将达到13.5%,到2021年收入接近162亿美元。

自从20世纪90年代中期首次提出概念,对象存储已经成为最大规模应用的数据存储方法之一。在软件定义存储市场中,下一代云数据中心的要求正在有力地推动对象存储的发展。

毋庸置疑,我们现在处于一个数据爆炸的年代,特别是非结构化数据(图片、视频、归档以及企业级备份等各种数据)成为企业数据的重要组成部分。这种海量数据就需要对应的存储来解决,而传统企业存储比如NAS或者SAN等无法应对这种海量的非结构化数据。

对象存储看过来

通常,传统的存储技术可分为直连存储(DAS:Direct Access Storage)、存储区域网络(SAN:Storage Area Network)和网络附加存储(NAS:Network Attached Storage)。

从存储形态来看,DAS和SAN属于块存储,也就是说存储系统对磁盘(块设备)进行操作,数据存取的接口是块设备驱动。NAS属于文件存储,主要是对文件及目录进行管理,数据存取的接口是文件协议,比如NFS。从抽象层次来说,文件存储要高于块存储。

目前,整个企业级存储市场正在从“垂直扩展”向“水平扩展”发展。业界关于新一代企业存储有很多名词,比如软件定义存储、分布式存储、水平扩展式存储等,它们所表达的意思是一样的,就是在相对比较廉价的X86服务器之上通过软件进行存储管理。

在这种水平扩展存储中,我们会面对块存储、文件存储和对象存储等类别,它们各自适用的场景不同。其中分布式块存储适用的场景相对来说比较特定,比如Oracle数据库,需要挂高性能硬盘做数据库的存储;此外,最适合存储非结构化数据,即图片、视频等类型数据的是分布式文件存储和对象存储。

数据爆炸时代云计算厂商的对象存储“勇担当”

而且对象存储与块存储不一样。对象存储没有逻辑单元(LUN)、卷及磁盘阵列(RAID)这些概念。对象存储与文件存储也不一样,对象存储不是通过目录来查询文件。对象数据不是存储在块或者LUN中,而是在大小可变的容器(Bucket)里。

对象存储的核心思想是将数据通路(数据读或写)和控制通路(元数据)分离,并且基于对象存储设备构建存储系统,每个对象存储设备具有一定的智能,能够自动管理其上的数据分布。

所以,对象存储结合了块存储和文件存储的优点,既有块存储的高性能,也有文件存储的共享便利,是目前最主要的云存储方式。

我们访问对象存储中的数据,可以直接通过REST API来访问对象存储,就像用URI访问一个网络资源文件一样的方便。

从对象存储的设计思想,我们可以看出其适应了目前新技术的发展趋势和企业的数据存储和业务应用的需求变化。

比如在应用场景上,对象存储可以广泛应用于Web和移动应用、企业网盘、静态网站托管、大数据分析、IaaS/PaaS服务、图片处理、视频云、备份归档、数据迁移等。

对象存储成云计算厂商标配

诚如上述,对象存储会是企业存储的蓝海市场。现阶段对于对象存储进入企业级市场是一个非常好的阶段,它处于被广泛采纳的早期阶段,各路玩家纷纷布局。

在对象存储市场,云计算厂商、存储厂商、IT厂商、软件厂商都有所布局。比如IBM、HDS、EMC、Nutanix、VMware都有自己的相应产品。但是公有云提供商是绝对的主力玩家。

对象存储的发展和商业化一直与云计算行业紧密相连。云计算市场经过这几年发展,已经趋向成熟,而应用比较广的对象存储服务,现成为云服务公司的一项基础业务,市面上能够提供这项服务的厂商数不胜数。

数据爆炸时代云计算厂商的对象存储“勇担当”

作为历史上最早期的云存储服务,简称S3的Simple Storage Service的目的和功用就是为AWS未来的云服务用户提供最基础、最简便的云存储服务,无论是图片、视频还是文本,S3都能够提供存储服务,简单、集中、性价比高。

微软Azure推出了高度可缩放的非结构化数据对象存储——Blob存储,凭借百亿亿字节容量和巨大的伸缩性,Blob存储可根据数据访问频率,将数百至数十亿的对象存储在“热”、“冷”或“存档”层中,企业可以轻松并经济高效地存储任何类型的非结构化数据(图像、视频、音频、文档等)。

国内云厂商也积极布局对象存储,比如阿里云对象存储(Object Storage Service,简称OSS)已实现商业化服务5年以上,其是基于阿里云飞天分布式系统的海量、安全和高可靠的云存储服务。

UCloud则提供了对象存储UFile服务,UFile具有存储无上限、支持高并发访问、成本更低等优势;解决业务架构的文件存储问题,有效降低海量文件的存储成本,支持热点数据的高并发访问,提升终端用户访问体验。

企业级云服务商青云QingCloud也提供了基于公有云的QingStor对象存储服务,还有QingStor对象存储私有云一体化解决方案。

对象存储在公有云的成功,已经对企业存储生态和部署模式产生了影响。比如现在OpenStack Swift和Ceph这些开源对象存储的流行,Amazon S3成为事实上的对象存储访问标准,都是公有云对象存储普遍部署的影响。

所以,对象存储与云计算市场特别是公有云的快速发展息息相关。在公有云快速发展的今天,对象存储也迎来了自己的“春天”。

数据爆炸时代云计算厂商的对象存储“勇担当”

在企业级市场里,对象存储已经过了教育阶段,正处于一个比较好的时期,对象存储将占据企业级存储容量里75%左右的份额,它处于被广泛采纳的早期阶段。

不过,虽说对象存储迎来了快速发展的“东风”,但是如何顺应发展大势和满足客户需求是对象存储提供商赢得市场的关键。

云计算厂商如何玩转对象存储?

虽说对象存储将会是企业存储的蓝海市场,现在云计算厂商也纷纷布局对象存储,但是决定市场竞争的关键是产品和技术,对象存储如何才能帮助云计算厂商“攻城略地”,或许以下几点可以作为参考。

从接口层(协议层),对象存储需要兼容AWS S3 API,支持多种协议,包括NFS、FTP、HDFS等。只有这样才能满足客户的应用需求,毕竟对于企业级应用来说,接口和协议的丰富度是必不可少的。

在交付模式上,对象存储可以通过公有云、私有云、混合云等模式进行交付,并实现统一管理。虽然最初对象存储是公有云厂商推出的,但是对于某些行业而言,他们更倾向于在自己的数据中心里构建一个数据池,进行统一的管理,以及后续的分析和利用。所以,交付方式的多样化是必不可少的,而且对于对象存储厂商来讲,需要具备多种交付模式上的统一管理能力。

现在企业级存储市场呈现融合趋势,比如开源存储软件Ceph,将块存储、文件存储以及对象存储以同一套架构输出。

数据爆炸时代云计算厂商的对象存储“勇担当”

但是有的云计算厂商认为,不管是块存储、文件存储还是对象存储,它们所要解决的问题很不一样。因此如果想从上到下都是同一套架构去解决几种存储形态的话会顾此失彼。

产品体系化,对象存储API的使用方式非常简单,通常对象存储厂商也提供了各样语言的SDK。但是这样还不够,对于存储厂商来说,产品体系化非常重要,因为你的产品需要和用户的各种应用场景相结合,提供各种各样的解决方案。

在架构层面,对象存储有两个比较重要的趋势:一是事件驱动的框架,因为用户的数据并不是简单的存储,而是需要进一步处理,这就需要事件驱动的框架,它可以接驳各种各样的数据处理服务,甚至用户自己开发的处理应用,也可以接入进来。

此外,对象存储和大数据平台的集成或者接驳非常重要。在公有云形态上,大数据和对象存储的关系非常紧密,大数据是对象存储所存储数据的主要来源。但在私有云上还是缺失的状态,对象存储应该在私有云上加深与大数据的集成关系。

再次,对象存储与数据相关的SaaS服务。比如用户希望分析对象存储本身的使用情况,指导整个IT设施的规划和构建,这就属于与数据相关的SaaS服务。

最后,企业级存储软件生态与合作,企业级存储生态里不只是块存储、文件存储、对象存储,还有很多其它的,比如DR、灾备、传统的备份软件等。

综上所述,可以预见的是对象存储技术将成为未来存储技术的重要组成部分,随着整个云计算市场的快速发展,对象存储市场的发展也将被提速,从而加速企业存储的转型。



本文转自d1net(转载)

相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
相关文章
|
2月前
|
监控 安全 网络安全
云计算与网络安全:保护数据的关键策略
【9月更文挑战第34天】在数字化时代,云计算已成为企业和个人存储、处理数据的优选方式。然而,随着云服务的普及,网络安全问题也日益凸显。本文将探讨云计算环境中的网络安全挑战,并提供一系列策略来加强信息安全。从基础的数据加密到复杂的访问控制机制,我们将一探究竟如何在享受云服务便利的同时,确保数据的安全性和隐私性不被侵犯。
69 10
|
3月前
|
存储 安全 网络安全
云计算与网络安全:守护数据,构筑未来
在当今的信息化时代,云计算已成为推动技术革新的重要力量。然而,随之而来的网络安全问题也日益凸显。本文从云服务、网络安全和信息安全等技术领域展开,探讨了云计算在为生活带来便捷的同时,如何通过技术创新和策略实施来确保网络环境的安全性和数据的保密性。
|
1月前
|
存储 安全 网络安全
云计算与网络安全:保护数据的新策略
【10月更文挑战第28天】随着云计算的广泛应用,网络安全问题日益突出。本文将深入探讨云计算环境下的网络安全挑战,并提出有效的安全策略和措施。我们将分析云服务中的安全风险,探讨如何通过技术和管理措施来提升信息安全水平,包括加密技术、访问控制、安全审计等。此外,文章还将分享一些实用的代码示例,帮助读者更好地理解和应用这些安全策略。
|
2月前
|
存储 安全 网络安全
云计算与网络安全:如何保护您的数据
【10月更文挑战第21天】在这篇文章中,我们将探讨云计算和网络安全的关系。随着云计算的普及,网络安全问题日益突出。我们将介绍云服务的基本概念,以及如何通过网络安全措施来保护您的数据。最后,我们将提供一些代码示例,帮助您更好地理解这些概念。
|
2月前
|
存储 人工智能 弹性计算
阿里云何川:云计算,为数据基础设施的建设提速|数据对话
中国信通院工业互联网与物联网研究所特别策划“数据对话”专题,旨在通过专家的深度分析和独特视角,回答社会关切话题,探讨前沿技术和应用趋势。
|
3月前
|
存储 安全 网络安全
云计算与网络安全:保护数据的新挑战
【9月更文挑战第25天】在数字化时代,云计算已成为企业和个人存储和处理数据的关键技术。然而,随着云服务的普及,网络安全问题也日益突出。本文将探讨云计算中的网络安全问题,包括数据泄露、恶意软件攻击等,并提出相应的防护措施。我们将通过实例分析,展示如何在实际场景中应用这些防护措施,以保护数据安全。
|
2月前
|
存储 人工智能 弹性计算
阿里云何川:云计算,为数据基础设施的建设提速|数据对话
中国信通院工业互联网与物联网研究所特别策划“数据对话”专题,旨在通过专家的深度分析和独特视角,回答社会关切话题,探讨前沿技术和应用趋势。本期,我们邀请到阿里云弹性计算产品运营与生态合作负责人何川,围绕云计算如何加速数据基础设施建设及其未来发展趋势展开探讨。
|
存储 JSON 监控
将OSS数据导入日志服务操作实践
OSS与日志服务相比,OSS存储的成本更低,不过日志服务中查询、结果展示、实时监控、数据加工等功能是OSS所不具备的。所以,可以将历史数据投递到OSS进行长期保存,SLS存储近期有查询分析需要的数据。<br />当历史数据有查询、分析需求时可以将OSS中的数据重新导入到SLS。
2035 0
|
5月前
|
机器学习/深度学习 人工智能 专有云
人工智能平台PAI使用问题之怎么将DLC的数据写入到另一个阿里云主账号的OSS中
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
|
1月前
|
分布式计算 Java 开发工具
阿里云MaxCompute-XGBoost on Spark 极限梯度提升算法的分布式训练与模型持久化oss的实现与代码浅析
本文介绍了XGBoost在MaxCompute+OSS架构下模型持久化遇到的问题及其解决方案。首先简要介绍了XGBoost的特点和应用场景,随后详细描述了客户在将XGBoost on Spark任务从HDFS迁移到OSS时遇到的异常情况。通过分析异常堆栈和源代码,发现使用的`nativeBooster.saveModel`方法不支持OSS路径,而使用`write.overwrite().save`方法则能成功保存模型。最后提供了完整的Scala代码示例、Maven配置和提交命令,帮助用户顺利迁移模型存储路径。