思考,基于高密度闪存的存储系统未来到底是一个什么样子?

简介:

近几年分布式存储架构受到主流关注,因为其解决了磁盘的存储容量、存储性能、存储扩展等问题。但是闪存介质通过其几何式发展,让基于分布式存储的优势逐渐减弱。试想一下,一个1U的全闪存阵列轻轻松松达到就实现千万IOPS,实现PB级容量,想选择分布式存储、还是全闪存阵列?用户的选择就多了一些。

每年的Flash Memory Summit都是闪存领域的一次盛会,期间都会有诸多新的闪存技术及产品亮相大会,而中国企业在闪存产品的研发和推广也成为一个主要玩家。而作为其中的参与者北京华云网际科技有限公司(以下简称华云网际)受邀亮相Flash Memory Summit 2017,华云网际总裁游峰以及华云网际CTO王劲凯等多位高管在现场与来自全球的客户、合作伙伴及媒体分享华云网际的领先技术,以及即将开源的华云网际AFA核心模块FlashTarget。

近日至顶网记者采访了华云网际CTO王劲凯,他介绍了Flash Memory Summit 2017上受关注的闪存技术和趋势。以及华云网际如何看待全闪存阵列的技术走势。

Flash Memory Summit2017上,受关注的包括高密度闪存存储的加速推进。Persistent memory的发展以及ScaleFlux的影响。就像文章开头的思考?王劲凯认为与中国市场更关注分布式存储,北美市场已经关注全闪存阵列的趋势。我们看到分布式存储主要解决的一个问题就是数据量比较大的问题,分布式能够比较有效的解决数据量大的问题。但是现在看到NAND密度越来越高,1U设备能做到的容量更高,三星和英特尔都出了大容量的SSD产品,依照NAND存储密度提升速度,未来PB级的数据可以通过一个阵列实现。这也让华云网际思考,基于闪存的存储系统未来到底是一个什么样子?

华云网际于2013年成立,成立之初就开始思考闪存的发展这个问题,也提出以软件为核心,闪存优先的策略。

随着闪存传输速度、容量、性能的大幅度提升。如果采用传统阵列的分布式存储系统已经很难充分发挥闪存的优势。对于未来全闪存阵列的发展,华云网际CTO王劲凯谈到,首先要架构上要跟对方向。当下全闪存阵列主流的架构是X86,而基于ASIC及FPGA的全闪存阵列已经非常少见,当下包括Pure Storage在内都是x86,这与华云网际的研发方向相同。华云网际全闪存阵列主要的硬件架构如下图:

技术就是这样!还在谈分布式存储?高密度闪存的出现打破其优势!

上面两个交换机,保障系统高可用,下侧是两个控制器连JBOF。(全闪存阵列和分布式存储最大的区别在于是否使用了双端口硬盘,分布式存储中如果一个节点宕机,重构时间非常长,整个系统的性能会出现大幅下滑,而全闪存阵列使用双端口硬盘,控制器故障后,仍有链路可以访问硬盘,不会造成特别高的性能下降。

王劲凯认为未来以太网连接一切的趋势比较明显,因此跳过FC到达NVMe over Fabrics,主要是以太网为主。FC是一个比较古老的技术,比较封闭的生态,当下主流仍为16G,其发展速度没有以太网快,包括FC在内的网络厂商基本都在向以太网转型。将来NVMe over Fabrics的主要方向将是以太网。

通过这些新的创新,华云网际全自主研发的软件定义架构FlashTarget,通过kernel-bypass的方式绕过系统对硬件进行管理通过,支持SPDK的NVMe驱动,借助这些技术,FlashTarget可以极限挖掘闪存性能潜力,将存储系统性能提升到了前所未有的新高度。

为了让上层应用全面的感受到闪存的性能优势,华云网际对整个系统软件堆栈做了彻底的简化,对于软件堆栈的极致压缩,最直接的效果就是系统延迟大幅降低,在FlashTarget支持下,结合华云网际实测数据,Target端的延迟可以降到1微秒(传统存储阵列这一层需要上百微秒),而PCIe SSD这样的存储介质延迟同样在数十微秒量级。

值得一提的是,华云网际与英特尔合作非常深入,是Intel Storage Builders和Intel Cloud Builders的成员,上述测试主要通过英特尔SSD来实现。英特尔作为闪存的主要技术推动者,华云网际和英特尔有很多合作,包括英特尔最新的傲腾SSD,华云网际在测试过程中发现,其性能稳定性等方面都表现非常好,也是现在华云网际主要选择原因。

技术就是这样!还在谈分布式存储?高密度闪存的出现打破其优势!

从整个链路上看,FlashTarget已经将系统的延迟性能逼近极限。基于SAS标准的扩展柜延迟处于毫秒级,为了将链路的延迟降到最低,华云网际基于NVMe over Fabrics技术设计了全新架构的闪存机柜,扩展机柜通过50Gb/s RoCE与控制器相连,装配FlashTarget™的控制器负责NVMe over Fabrics和NVMe(over PCIe)之间的转换。直接结果是访问基于FlashTarget™的机柜仅增加一位数微秒的延迟(3微秒),即便是在数百万IOPS和几个GB/s的吞吐量的情况下也是如此。

闪存时代软RAID趋势

磁盘时代,硬RAID方案盛行,其中LSI的RAID卡是硬RAID代表,但是RAID卡都是使用PCIe接口的,当下高速SSD也是用PCIe 接口,很明显RAID必然成为瓶颈。华云网际FlashTarget通过纠删码、快照/重复数据删除、远程拷贝/镜像等全闪存核心技术来实现闪存时代软RAID。

未来FlashTarget将实现开源

现在看所有的存储方案都需要解决释放闪存性能的问题,闪存要进入下一个时代,就必须有一个高效的软件与之匹配,王劲凯认为当下并没有开源的软件做这件事,一定程度上这一问题会成闪存普及的障碍。FlashTarget是AFA核心软件部分,未来会开源。华云网际将借此推动闪存生态发展,未来FlashTarget开源后华云网际也将有更多的机会。

因此我们看到,未来基于X86的开源架构,基于软件定义的存储系统,加上基于大容量的高密度闪存介质,新的全闪存阵列将会成为数据存储管理的选择之一。


原文发布时间为:2017年8月25日

本文作者:任新勃 

本文来自云栖社区合作伙伴至顶网,了解相关信息可以关注至顶网。

相关文章
|
7月前
|
存储 监控 安全
Raid是廉价冗余磁盘阵列的简称
Raid是廉价冗余磁盘阵列的简称
79 0
|
存储 内存技术
闪存存储的优势
闪存存储的优势
113 0
|
存储 固态存储 芯片
硬件 - 闪存技术 SSD固态硬盘
硬件 - 闪存技术 SSD固态硬盘
164 0
|
存储 安全 固态存储
LTO助推磁带大容量存储技术超越磁盘HDD
LTO标准最初有两个格式,一个Ultrium,主要负责支持大容量技术,一个Accelis,主要负责高性能。磁带被采用的原因,目前跟性能也不相关,要性能的话,早就切换固态硬盘SSD了。所以目前一说LTO,基本上大家就等同于LTO Ultrium。
|
存储 程序员
计算机存储系统之磁盘阵列技术
计算机存储系统之磁盘阵列技术
258 0
计算机存储系统之磁盘阵列技术
|
存储 文件存储 数据中心
|
存储 固态存储 内存技术
|
存储 数据中心 内存技术
|
存储 数据中心 虚拟化