IBM云对象存储特点简介及适用场景介绍

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,内容安全 1000次 1年
对象存储 OSS,恶意文件检测 1000次 1年
简介:

随着各行各业创新技术的诞生和更加细致的监管要求,比如互联网+,4K、8K的高清视频,金融领域的双录规定等等,非结构化数据形成了爆发的增长态势,而此刻我们传统的存储世界已经一片焦灼,SAN和NAS面面相觑,面对如此海量的数据存储,二者也束手无策,这时候对象存储挺身而出,以胸纳百川的气概,以动辄上PB级的存储身姿,喊出了"Yes, I can"的新时代承担。

根据IDC的报告指出,从2017年,结构化数据增长应趋于平缓,而在2016年开始,非结构化数据的增长将是爆发式的、火箭式的。而在2020年,全球的数据量将会突破45ZB(1ZB=1024EB),而其中80%的数据将是非结构化数据。

IBM云对象存储特点简介及适用场景介绍

因此,传统存储在面对非结构化数据的时候,是心有余而力不足的,毕竟传统架构当时考虑的极限也仅限于百TB级。当新的对象存储技术出现的时候,一切的问题都变的迎刃而解。时间又要追溯到十几年前,当亚马逊发布了标准的S3对象存储接口API集后,对象存储有了相当长足的发展,直到现在呈现的多方态势,其中包括传统存储厂商的新产品线、新兴的创业公司、还有日益完善多远的开源技术。

首先,有一点需要明确的是,对象存储技术的出现,是革命者吗?是要替换推倒整个存储世界的吗?答案是否定的,对象存储是存储世界的新晋成员,但是现在大时代的背景下,也是不可割舍的、尤其重要的一部分,如果不积极接纳,转变思想,那么未来数据增长、管理、有效保存都会成为极其棘手的问题,同时,在大数据的背景下,数据丢失也是核心商业价值的丢失。传统的块存储,文件存储和后来者对象存储一起,缔造一个更为丰富、全面的存储世界。下图也给大家一个更为直观的角度,从文件数量、容量、是否结构化的角度来对待不同的存储类型。

IBM云对象存储特点简介及适用场景介绍

其实,纵观整个存储的发展,直到现在三块主要的存储技术分而治之,共同构筑起存储分层的概念,这也是数据生命周期管理最重要的实现。存储分层有如下明显好处:

IBM云对象存储特点简介及适用场景介绍

因此,数据的存储不在是静态的,扩容也不再是一个盒子一个盒子的堆叠,更是动态有生命的流动,也有对象存储技术保证了在盒子堆叠过程中的不稳定因素。

前面我们提到传统架构,最大的问题在于可扩展性的限制,那么我们从下图来见到看一下,对比两种类型存储的索引方式,就可以得出为什么我们说:"架构上的设计限制"。

IBM云对象存储特点简介及适用场景介绍

左边是块/文件的读取方式,是通过目录树的方式,每一个文件需要有元数据去存储一个很长的字符串作为这个文件访问的路径,在文件系统访问方式下,首先,这样的路径长度是有限制的,这是由CIFS或NFS的文件系统所限制的;其次,如果要构建索引的话,需要深入到每一个细小的文件数末梢,当文件数量巨量时,实际上这种索引是无法构建的。

右边是对象存储的读取方式,首先每个对象实在完全平展的一个平面上,不再存在文件级、目录树的概念,所有多项都在一个层级,其次,对象的访问方式是通过唯一的一个对象ID来完成访问的,而这个ID是一个由系统定义,可设置位数的,字母大小写加上数字的字符串。一个16位的字符串即为(26+26+10)的16次方,已经足够涵盖所有的数据了。由于对象存储是采用RESTful API的方式访问,即HTTP的通信协议,因此需要访问一个对象的时候只需要主机IP+域名+对象ID即可,如https://hostIP/namespace/AABBCCDD。

IBM云对象存储特点简介及适用场景介绍

说了那么多对象存储技术和领域的东西,只想让大家明白,这已经是潮流、是趋势、是最好保护您现有数据资产、发扬数据商业价值的最优技术和最佳实践。那么IBM云对象存储又有什么别致和出众的地方呢,在最新的Gartner报告中IBM云对象存储也是综合排名第一的,各分项也排名第一居多,本文主要会从五个方面给大家逐层分析。这五个方面包括强大的可扩展性、安全性、地理信息离散算法保障的9个9的可用可靠性、高效管理性和杰出的经济适用性。

首先,我们来说说IBM云对象存储的基本架构,总共由三个部件来实现整套系统系统的运作,其中管理节点负责系统的配置、告警、报警、性能监控等;访问节点负责对象文件的读写、纠删码算法、加密等;存储节点则是最终切片数据落盘所保存的地方,同时还有一项非常智能高级的工作,就是在磁盘或者节点出现故障的时候能够自动智能的恢复数据。这是一套非常强大的对象存储系统,能够真正意义上做到"软件定义,硬件感知",能够快速、简易的部署在通用的X86服务器上,同时,系统的监控能够深入到每块磁盘的I/O级别,这是相当了不起的一种软硬件兼容性,并可以手动将告警硬盘踢出正常系统。

通过上面IBM云对象存储的介绍,相信各位已经非常热血沸腾了吧,接着大家可能会问,IBM云对象存储有哪些部署形式?以及不同行业又将如何应用呢?这篇文章只是给各位读者一个抛砖引玉、启发思路的作用,毕竟每位客户、不同行业都有自己独特的属性,所遇到的问题和需要的解决方案也都会各有不同,IBM坚信只有聚焦客户,解决客户痛点才能够很好的实现双方商业成功。

IBM云对象存储实际上是业界唯一一家可以做到打通所有部署形式的一家提供商,其中包括On-Premise企业自建的方式,Dedicated私有云/专属云,Public公有云,Hybrid混合云等等方式,任君选择。更好的解决应对客户的业务痛点,共同创造商业价值。

而在应用方面,分成两个维度,一个是通用场景方面,一个是行业上聚焦的前三场景。

IBM云对象存储特点简介及适用场景介绍

通用场景方面,如果按容量大中小来看,大型的主要在内容仓储和大数据归档这块,而中容量的则在企业协同、OA协同等,相对来说小容量的则在备份归档这块了。这只是一个指导性划分,实际上每个客户环境都有很大区别,用例也各不相同。

而在行业的划分,如下图

IBM云对象存储特点简介及适用场景介绍

至于更加细分的医疗、教育、军工、公安、交通等等行业,实际上IBM云对象存储也有很多实践的经验,比如在基因测序的结果数据归档,在军工企业设计文档的协同工作,公安、交通的安防摄像头数据归档和在线的调用,都有很好的使用案例,等待和您的一起讨论。

最后,此文写到这里,仅仅只是打开了对象存储话题的讨论而已,同时对于IBM云对象存储的介绍也只是最简单的架构、基本实现机制等,至于应用的讨论,实际上是IBM目前在整个行业植根以来和客户共同研讨探究出来的一些领域和方向。也希望大家通过此文之后对于对象存储这样一个全新的技术有所了解。IBM与您携手共进,共同面对即将来临的海量非结构化数据浪潮。


原文发布时间为:2016年9月1日

本文作者:郑晓曦

本文来自云栖社区合作伙伴至顶网,了解相关信息可以关注至顶网。

相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
相关文章
|
消息中间件 网络协议 存储
【IBM Tivoli Identity Manager 学习文档】7 TIM的Adapters简介
作者:gnuhpc 出处:http://www.cnblogs.com/gnuhpc/ Adapters的定义:  Adapters提供了一个被管理资源(在TIM中叫做Service)和TIM5.0服务器交互的接口,它是一个软件组件。
1001 0
|
5月前
|
机器学习/深度学习 人工智能 专有云
人工智能平台PAI使用问题之怎么将DLC的数据写入到另一个阿里云主账号的OSS中
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
|
26天前
|
分布式计算 Java 开发工具
阿里云MaxCompute-XGBoost on Spark 极限梯度提升算法的分布式训练与模型持久化oss的实现与代码浅析
本文介绍了XGBoost在MaxCompute+OSS架构下模型持久化遇到的问题及其解决方案。首先简要介绍了XGBoost的特点和应用场景,随后详细描述了客户在将XGBoost on Spark任务从HDFS迁移到OSS时遇到的异常情况。通过分析异常堆栈和源代码,发现使用的`nativeBooster.saveModel`方法不支持OSS路径,而使用`write.overwrite().save`方法则能成功保存模型。最后提供了完整的Scala代码示例、Maven配置和提交命令,帮助用户顺利迁移模型存储路径。
|
4月前
|
存储 机器学习/深度学习 弹性计算
阿里云EMR数据湖文件系统问题之OSS-HDFS全托管服务的问题如何解决
阿里云EMR数据湖文件系统问题之OSS-HDFS全托管服务的问题如何解决
|
5月前
|
消息中间件 分布式计算 DataWorks
DataWorks产品使用合集之如何使用Python和阿里云SDK读取OSS中的文件
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
下一篇
无影云桌面