浅析数据中心存储发展趋势

简介: 产生的这些巨量数据,存储的归宿在哪里呢?随着发展趋势,个人本地存储的需求越来越小,公有云的数据存储量将会有迅速的攀升。

1.数据的起源与归宿

大数据的时代,数据的增长是爆发式的。根据IDC的预测,2025年的数据将达到175ZB。这将是一个非常庞大的数据量。这个数据量到底有多大呢?举个可以感知到的栗子,如果把这些数据全部存在DVD光盘上,那么这些DVD堆起来的高度将可以绕地球222圈。如果当前的网速水平,全部下载下来也许要18亿年。

产生的这些巨量数据,存储的归宿在哪里呢?随着发展趋势,个人本地存储的需求越来越小,公有云的数据存储量将会有迅速的攀升。

存储数据的介质,也更加多元化。包括磁带、光盘、非易失性存储、固态硬盘SSD,机械硬盘等。其中,在2025年,数据存储市场,HDD机械硬盘依然占据50%左右的份额。同时,磁带和固态硬盘的存储需求也在逐步的攀升。

数据的分层存储需求,将会更加的明显,核心就是让数据找到更适合自己的归宿。加速计算、压缩、SCM、内存、SSD、HDD、磁带等将会是多元化的竞争与合作。

2.ZNS SSD降低写放大

ZNS SSD基于SMR HDD zone的理念而来,主要提升SSD寿命和特定场景的性能优化

对于传统的SSD来说,本身满足多种需求就是一件很不容易的事情。因为基于NAND介质的SSD,在读写过程中,还需要涉及到复杂的FTL算法管理、Wear-Leveling磨损均衡、Garbage Collection垃圾回收、Bad Block Management坏块管理、Media介质异常处理等等,同时还要与数十个NAND die进行并发通道读写请求。而这一切,对于host而言,SSD就是一个黑匣子,完全无法控制也无法清晰了解SSD内部FW在做什么。

古猫先生,公众号:存储随笔炙手可热的ZNS SSD将会为数据中心带来什么?

3.CXL主张内存扩展,有望协助替代3DXpoint

CXL目前是很热的技术标准,内存扩展,同时有望基于CXL和NAND的组合实现类似NVDIMM-N功能,来取代3D-Xpoint被停止迭代的遗憾。

CXL诞生的基础是为了解决CPU内存和附加设备内存的互联,实现资源共享,得到最大的性能提升。

古猫先生,公众号:存储随笔唯有自身强大才能呼风唤雨—Intel要携CXL一统互联江湖了吗?

3.SDS软件定义存储成为最受IT关注的技术

SDS软件定义存储凭借消除对硬件的依赖的优势,得到了传统IT转型过程中最受关注的技术。

SDS,Software Defined Storage ,即软件定义存储技术。软件定义存储(SDS)是一种能将存储软件与硬件分隔开的存储架构。不同于传统的网络附加存储(NAS)或存储区域网络(SAN)系统,SDS 一般都在行业标准系统或 x86 系统上执行,从而消除了软件对于专有硬件的依赖性。

古猫先生,公众号:存储随笔传统IT数字化转型面临的挑战与机遇

4.创新加持NAND成本持续下降

随着3D NAND的层叠数不断的攀升以及QLC/PLC低成本的NAND介质出现,数据存储的方案也就更加的多元化。

QLC的出现并不是为了取代SLC/MLC/TLC这些前辈,实力也不允许完成替代。QLC更是对TLC SSD的补充,让SSD市场更加的丰富多彩

古猫先生,公众号:存储随笔PLC SSD虽来但远,QLC SSD火力全开

自2014年3D NAND问世,就一直聚焦着全世界的目光。经过多年的沉淀,3D NAND行业可谓是"百家"峥嵘。说"百家"是有点夸张了,说白了,3D NAND行业也就是指三星、东芝、西部数据、美光、SK海力士等这些Flash原厂巨头,因为他们基本完全把控着3D NAND的命脉。中国公司此前在此领域毫无话语权,甚至连收购、合作外资公司都没可能,想获得突破还得靠国产公司自立。值得欣慰的是,长江存储科技在武汉投资国家存储芯片基地,已经迎头赶上,迈进第一阵营。

古猫先生,公众号:存储随笔3D-NAND向500层进发,天花板在哪里?

5.X-NAND创新架构弥补QLC性能劣势

在应对QLC性能下降带来的影响,通常的做法是给QLC配备SLC Cache,来掩盖QLC性能大幅下降的事实。在正常的workload下,QLC配备的SLC Cache足以保证QLC的性能不会很差,基本维持在SLC的读写性能。但是,在超大压力顺序写场景下,SLC Cache的数据还没来得及搬到QLC时,已经被打满了,这个时候性能就会出现断崖式下降,只有SLC性能的12%。

为了解决这个问题,一家成立于2012年的美国Neo半导体公司,在2018年研发了X-NAND架构,提升TLC/QLC的性能。

X-NAND的确有很大的潜力,特别在QLC NAND容量上升后的性能不断下降情况下,如果X-NAND架构可以弥补QLC的性能劣势,肯定加速QLC的普及。X-NAND架构目前所有的数据均是在提升读写性能,针对对性能场景需求较大的消费级市场,可能有一席之地。

古猫先生,公众号:存储随笔X-NAND来袭,能否助力QLC完成梦想?

6.HDD技术的不断创新保持竞争力

在面对SSD的持续压力,HDD也在不断的创新保持竞争力,SMR、HAMR、MAMR、OptiNAND、NVME HDD等技术展现了不同的竞争优势。

随着QLC/PLC的加持,未来很快就会出现机械硬盘和固态硬盘价格的重合点,那么机械硬盘一直赖以生存的最大优势:价格因素将不复存在。到底SSD和机械硬盘HDD的竞争将更加的白热化。固态硬盘的步步紧逼,机械硬盘厂商也不会坐以待毙等着被SSD取代。HDD的厂商也在不断的创新,增加HDD的竞争优势。

古猫先生,公众号:存储随笔面对SSD的步步紧逼,HDD依然奋斗不息

7.LTO磁带助力可持续性发展和归档存储

磁带存储的出货量每年的复合增长率19%,2026年将超过160EB。

磁带最大的优势就是成本,在2030年,磁带将比HDD的成本下降71%。

磁带的可靠性UBER也是在光盘/HDD/SSD/磁带中最高的。

在2025年,机械硬盘包括SMR新型机械盘存储介质的占比仍然有50%。我们本文重点需要关注的是Tape磁带,如上图棕色框,每年的出货量也在不断增长。从20世纪30年代开始算的话,磁带技术也算是一位期颐百岁老人了,磁带技术虽然古老,但凭借独特的魅力依然挑起了世界数据存储的重担。

古猫先生,公众号:存储随笔《磁带存储技术那些事儿》专题:1.引言-新时代依然需要古老技术

LTO Ultrium技术在众多参与的者的推进下,目前已经发展到第九代Gen9,单个磁带盒非压缩容量可以支持18TB,压缩数据容量支持最大45TB,每个小时可以Navtive读写速率在400MB/s,压缩数据传输速率在1000MB/s,也就是每个小时可以读写3.6TB的数据。速率传输相对LTO6已经提升2倍多。

古猫先生,公众号:存储随笔LTO助推磁带大容量存储技术超越磁盘HDD

随着 LTFS 的引入,LTO 磁带在系统中显示为一个设备,允许用户将文件拖放到磁带和从磁带拖放文件。简而言之,它允许LTO驱动器接口像普通硬盘驱动器一样工作。这消除了对任何特殊软件的需求,并使用户保存和复制文件更加直观。它还具有使LTO驱动器与所有主要操作系统兼容的额外优势。

古猫先生,公众号:存储随笔为LTO磁带而生的文件系统LTFS|主线任务—夺回"秋雅"

在2025预计每年需要存储也将达到10-20 ZB的数据量,而这些数据最终都将存放在HDD磁盘或者磁带系统中。在可持续发展绿色低碳的理念下,未来几年甚至十几年,将会有更多的存储数据从磁盘HDD转移到LTO磁带中,以获得更低的碳排放。

古猫先生,公众号:存储随笔LTO磁带 PK 磁盘HDD:谁会让数据中心变"绿"?

8.总结与展望

以上提到并在存储随笔已经分享的相关技术只是存储领域的冰山一角,小编后续会持续学习和分析更多存储解决方案,比如DNA存储、计算存储、新型存储介质等,敬请期待,共同交流。

相关文章
|
存储 人工智能 运维
超大规模云数据中心对存储的诉求有哪些?
要实现超大规模部署的特性,就对存储有别于普通数据中心或者消费市场的诉求。具体有哪些呢?主要有以下几点,我们针对部分信息展开讨论
|
存储 安全 JavaScript
GitLab 对免费用户实施存储限制;谷歌数据中心发生爆炸;新版 Vue 3 中文文档上线 | 思否周刊
GitLab 对免费用户实施存储限制;谷歌数据中心发生爆炸;新版 Vue 3 中文文档上线 | 思否周刊
235 0
|
存储 数据中心 芯片
大型数据中心的存储能耗问题与NVM在数据中心中的应用
        随着大数据、人工智能等新型应用的兴起,存储器件受到了越来越多的重视。在小 到手持嵌入式设备、大到超级计算机的各类计算系统中,存储器在降低系统的能耗、提 高系统可靠性和性能等方面扮演着至关重要的角色。
2517 0
|
存储 数据安全/隐私保护 数据中心
逐渐老化数据中心正在转移存储优先权
本文讲的是逐渐老化数据中心正在转移存储优先权,当今的公司要怎样做才能更好地管理不断超越存储容量的数据增长?人们能做得首要之事就是整合。第二件事是提高利用率,使用虚拟化或是数据在空间中转移的能力。
1017 0
|
存储 分布式计算 数据中心