科技云报道:分布式存储取代集中式存储?还早着呢!

简介: 两者或将长期共存

科技云报道原创。

过去十年,分布式存储变得非常流行。

 

 

据IDC预测,未来五年软件定义存储市场的复合增长率将达到23.4%,到2025年分布式存储的市场空间将达到325亿美元。

巨大的市场前景,吸引了大批存储企业争相发力这一赛道,云计算厂商如:AWS、Azure、谷歌云等纷纷推出公有云存储,老牌存储厂商如:戴尔、HPE等联手云厂商推出多云存储方案,还有大量软件定义存储、超融合创业公司如雨后春笋般诞生。

市场格局的变化无不体现着全球存储发展的新趋势,正在向着分布式和云化发展。

image.gif

分布式存储成为主流选项

分布式存储之所以能快速成为主流,本质上有两个因素:

第一,分布式存储解决了很多传统存储没法解决或解决不好的问题。

比如扩展性问题,传统集中式存储以专用盒子的形式进行扩展,容量不够加硬盘、盘柜,性能不够加控制器、机头。但由于容量和性能都是有上限的,而且这个上限置于今天是非常有限的,严重制约了传统集中式存储的扩展性。

反观分布式存储,由于软硬件解耦,因此不挑硬件设备,服务器、存储都能加,且不绑定厂商,成本低。同时,存储容量和性能的上限不局限于硬件,而是由软件设计决定的。存储资源的池化管理,使得分布式存储的管理效率较传统集中式存储有了质的提升。

第二,时代搭建了软件定义存储大展拳脚的舞台。

2013年往后,移动互联网、云计算、大数据、AI、5G、物联网……各种新技术此起彼伏,传统产业的数字化转型加速,带来海量数据的规模化聚集。

据IDC预测,2025年全球数据规模总量将在201945ZB规模的基础上扩大四倍,达到175ZB,而这相当于1750亿台普通家用电脑的存储空间。

巨量数据在极短时间内产生,而且其中绝大部分是传统集中式存储不擅长的非结构化数据。层出不穷的数据形态、不断变化的部署环境、随时出现的安全隐患等,都对存储技术发展提出了新的要求。

在此背景下,分布式存储凭借高安全性、可靠性、可用性、易于扩展等特性,得到了快速发展。在短短几年内,分布式存储增长率节节攀升,市场规模不断扩大。

 

 

 

分布式存储,能取代集中式存储吗?

在当前企业数字化转型实践和IT基础设施建设的方法论中,分布式架构和软件定义数据中心的思想似乎已经逐步占据主流,传统存储尤其是集中式存储的增长呈现出相对疲软的态势。

这是否意味着分布式存储正在替代集中式存储,成为了企业级存储市场的新霸主?

答案是否定的。

据IDC统计数据表明:2021年中国存储市场规模为42.9亿美元,其中,软件定义存储14亿美元,占比 26.1%;超融合为12亿美元,占比 20.3%。如果将两者的市场份额都算作分布式存储,那么可以看到分布式存储的市场份额约为46.4%,市场份额依然以传统存储为主。

再结合Gartner最新的存储趋势报告和各大厂家在2021年公布的市场销售情况看,传统集中式存储目前在企业的使用率仍然远超分布式存储,只是增幅在减少。

换句话说,尽管存储技术在持续变化,但是这种变化从某种程度上来说并不存在排他性。

在今天的存储场景下,我们依旧可以看到传统集中式存储和分布式存储并存,传统存储依旧处于主流存储位置,而分布式存储在持续扩展新的存储路径等常态表现。

回归存储本身来看,不同的存储模式也意味着不同的价值反馈。

比如,传统集中式存储在统一架构、服务协同等方面呈现出来的优势,是目前大型企业急需的转型基础。而对于分布式存储而言,更高的安全性和更低的成本也同样受到中小企业和互联网业务众多的企业的青睐。

 


 

混合存储策略正当时

正因为集中式和分布式存储各有千秋,许多企业正在逐步采用某种类型的混合存储策略,将集中式存储和分布式存储组合起来。

例如,将敏感的关键数据存储在本地,并且增加相应的完善的数据保护方案,而非敏感数据存储在分布式云存储中。

同时,采用热-温-冷的分层方法来存储数据,这确保了需要立即访问的数据是可用的,其他由于法律原因需要保留但不是频繁使用的数据,可以通过更廉价的方式进行存储。

再比如,在智慧城市的建设上,面向不同的城市场景,需要的数据存储方式也是不同的。对于工业质检、智慧交通等低延迟且数据合规性较高的场景,倾向于本地传统存储,而对于一些创新业务或是存量稳态业务,就可以采用分布式存储。

同时,企业在选择合适的存储类型时,正在基于场景应用逐步细化。

以金融业为例,集中式存储在时延、稳定性和软件成熟度方面有明显优势,适合应用于有数据强一致性要求、高IOPS、低时延的OLTP类交易业务场景。

因此,集中式存储在金融业中使用较多的案例有高端的全闪存存储,其具有百万级的IOPS、低延时的特性,并支持NVMe磁盘,在金融业交易类系统中,常用于核心账务系统、交易银行系统等等。

分布式存储则适用于海量数据、大数据OLAP类场景、以及对时延不敏感的场景。在金融行业的应用场景中,在线交易、数据分析和实时查询等不同场景,通常对数据容量的需求较大,且存在横向扩容需求,因此使用分布式块存储更合适。

很多厂商也看到了企业在混合存储方面的需求,因此纷纷推出了支持混合存储的方案。

例如,在阿里云、腾讯云、华为云等云巨头提供的分布式存储方案中,往往集合了中心云、边缘云以及本地存储为一体,以便于根据客户的业务需求来选择不同的云存储方案。

戴尔则直接与AWS、Azure、谷歌云等公有云开展合作,让用户可以像使用其他公有云服务一样使用戴尔的主存储服务,在云上享受到与使用本地存储一致的使用体验。

 

 

 

结语

在分布式存储发展得如火如荼的趋势下,未来分布式存储能完全替代集中式存储吗?

Gartner预测,到2024年,全球50%的存储容量将以软件定义存储的形式部署,包括本地部署或在公有云上。

可以肯定的是,未来十年,分布式存储的相对市场份额将不断增长,预计将超过集中存储的市场份额,然而两者将长期并存。

毕竟对于企业而言,生产安全和业务创新,两手都要抓,两手都要硬。

出于对控制、性能和成本效益的综合考虑,集中式存储+分布式存储将在很长一段时间内成为企业主流的配置方案。

 

【关于科技云报道】

专注于原创的企业级内容行家——科技云报道。成立于2015年,是前沿企业级IT领域Top10媒体。获工信部权威认可,可信云、全球云计算大会官方指定传播媒体之一。深入原创报道云计算、大数据、人工智能、区块链等领域。

相关文章
|
7月前
|
存储 分布式计算 Hadoop
Hadoop【基础知识 01】【分布式文件系统HDFS设计原理+特点+存储原理】(部分图片来源于网络)
【4月更文挑战第3天】Hadoop【基础知识 01】【分布式文件系统HDFS设计原理+特点+存储原理】(部分图片来源于网络)
235 3
|
7月前
|
存储 分布式计算 监控
Hadoop【基础知识 01+02】【分布式文件系统HDFS设计原理+特点+存储原理】(部分图片来源于网络)【分布式计算框架MapReduce核心概念+编程模型+combiner&partitioner+词频统计案例解析与进阶+作业的生命周期】(图片来源于网络)
【4月更文挑战第3天】【分布式文件系统HDFS设计原理+特点+存储原理】(部分图片来源于网络)【分布式计算框架MapReduce核心概念+编程模型+combiner&partitioner+词频统计案例解析与进阶+作业的生命周期】(图片来源于网络)
313 2
|
4月前
|
存储 SQL 运维
“震撼发布!PolarDB-X:云原生分布式数据库巨擘,超高并发、海量存储、复杂查询,一网打尽!错过等哭!”
【8月更文挑战第7天】PolarDB-X 是面向超高并发、海量存储和复杂查询场景设计的云原生分布式数据库系统
111 1
|
5月前
|
存储 关系型数据库 分布式数据库
PolarDB,阿里云的云原生分布式数据库,以其存储计算分离架构为核心,解决传统数据库的扩展性问题
【7月更文挑战第3天】PolarDB,阿里云的云原生分布式数据库,以其存储计算分离架构为核心,解决传统数据库的扩展性问题。此架构让存储层专注数据可靠性,计算层专注处理SQL,提升性能并降低运维复杂度。通过RDMA加速通信,多副本确保高可用性。资源可独立扩展,便于成本控制。动态添加计算节点以应对流量高峰,展示了其灵活性。PolarDB的开源促进了数据库技术的持续创新和发展。
300 2
|
7月前
|
存储 Cloud Native 关系型数据库
PolarDB-X 是面向超高并发、海量存储和复杂查询场景设计的云原生分布式数据库系统
【5月更文挑战第14天】PolarDB-X 是面向超高并发、海量存储和复杂查询场景设计的云原生分布式数据库系统
309 2
|
6月前
|
存储 缓存 NoSQL
了解Redis,第一弹,什么是RedisRedis主要适用于分布式系统,用来用缓存,存储数据,在内存中存储那么为什么说是分布式呢?什么叫分布式什么是单机架构微服务架构微服务的本质
了解Redis,第一弹,什么是RedisRedis主要适用于分布式系统,用来用缓存,存储数据,在内存中存储那么为什么说是分布式呢?什么叫分布式什么是单机架构微服务架构微服务的本质
|
7月前
|
存储 监控 容灾
TiDB存储层深入:分布式存储架构与数据一致性保障
【2月更文挑战第26天】本文将深入探讨TiDB的存储层,详细解析其分布式存储架构、数据复制机制以及数据一致性保障措施。通过了解存储层的核心组件和工作原理,我们可以更好地理解TiDB如何确保数据的可靠性、高可用性和可扩展性。本文将从存储层的架构、数据分布、容错机制等方面展开介绍,帮助读者全面掌握TiDB存储层的关键技术和优势。
|
7月前
|
存储 分布式计算 Java
使用 Java 实现分布式计算和存储
【4月更文挑战第19天】本文探讨了使用 Java 实现分布式计算和存储,重点介绍了分布式计算的概念和分布式存储的优势。文中提到了Hadoop和Spark两大框架,以及HDFS和NoSQL数据库(如HBase)在存储上的应用。利用MapReduce和Spark API进行分布式计算,借助ZooKeeper实现节点协调,确保容错和可靠性。通过性能优化和调优,Java能构建高效、可靠的分布式系统,适应大数据时代的需求。
137 0
|
7月前
|
存储 缓存 固态存储
云计算基础-存储虚拟化(深信服aSAN分布式存储)
每秒钟的IOPS数,该指标主要用于评价小块IO性能,体现存储系统的IO延时能力和并发能力。业界一般默认IOPS指的是4K块大小的IO性能,该值越大说明性能越好。
165 1
|
7月前
|
消息中间件 存储 缓存
分布式实时消息队列Kafka(四)消费分配策略与存储机制
分布式实时消息队列Kafka(四)消费分配策略与存储机制
226 1