类内存的存储出现意味着文件系统必须改变

简介:

近期DataDirect Networks(DDN)更新了一代软件定义存储产品组合的CTO——Eric Barton,我们先来看下这哥们儿的咖位——30年高端存储“老司机“,超级计算机并行文件系统的早期构建者之一,将Lustre文件系统从少数几个超算中心带入到两大用于高性能计算的主要数据管理平台之一,曾任甲骨文Lustre工程组的首席工程师,英特尔高性能数据部门首席架构师,从某个方面来看,Barton一直在做软件定义存储。

而世界刚巧迎合了这个概念。

2012年7月,英特尔收购了高性能计算公司Whamcloud之后,Barton作为后者的联合创始人兼CTO加入英特尔投身商业化Lustre业务,在英特尔结束这项业务后离开英特尔转战DDN帮助其Infinite Memory Engine(IME)数据缓冲区的核心文件系统变得多样化与商业化。

Barton曾在1985年联合创建了一家基于交换的并行超级计算机制造公司Meiko Scientific,那时一个国家实验室采购了它们的集群但还需要一个文件系统,因为人手不足,Barton只能自己编写并行文件系统(PFS)程序。他当时的想法很简单就是跨其它文件系统来划分一个文件系统。

听起来很简单,但是获取一个可扩展的命名空间,从而跨组成并行文件系统的多个节点之间大小型数据块来提供访问是件棘手的事。这就是Lustre文件系统诞生的原因,也是在超级计算机风头正盛的时候,IBM,SGI,Sun Microsystems等巨头企业仍在花大量的时间开发并行文件系统的原因。

Barton 称Luster跟PFS基本是一样的,但做得恰到好处,如果你在十年前跟我谈,我会说Lustre会解决命名空间的可扩展问题,而未来的百亿亿次文件系统,它的底层搭建基本会是Lustre。然后3D XPoint内存出现了。

这里做了一个局,就是3D XPoint看起来像内存,但它跟磁盘或闪存存储一样具有持久性。现在,存储操作已经从毫秒级降至微秒级,而Barton则表示关于闪存和3D XPoint的炒作太多,后者的速度要比闪存高出几个量级,你必须改变存储软件层才能优化这种差异。NVM-Express协议的出现,允许计算和内存的复合体直接与闪存存储进行通信,而不是让闪存模拟磁盘并通过SCSI设备驱动程序堆栈。这是需要在一个系统内进行这种改变的一个例子,并且考虑到配置数万个旋转磁盘的PB级磁盘存储容量,它将会在较大型文件系统中完成。

Barton 表示,“在你和硬件之间存在一个极大的软件厚度,而这些新技术,以3D XPoint为代表迫使我注意到一切必须改变。你不再有这么大的延迟来隐藏存储系统的所有功能。如果你在应用程序和存储介质之间有这种厚度的软件,你就是否认了应用程序和介质的好处。“

本文转自d1net(转载)

相关文章
|
14天前
|
存储
浮点数在内存中的存储
浮点数在内存中的存储
24 0
|
14天前
|
存储
数据在内存中的存储之整数存储
数据在内存中的存储之整数存储
20 0
|
1天前
|
存储 编译器 程序员
C语言:数据在内存中的存储
C语言:数据在内存中的存储
8 2
|
4天前
|
存储
整数和浮点数在内存中存储
整数的2进制表⽰⽅法有三种,即原码、反码和补码。
13 0
|
5天前
|
存储 编译器 C++
【C++】内存管理和模板基础(new、delete、类及函数模板)
【C++】内存管理和模板基础(new、delete、类及函数模板)
20 1
|
5天前
|
存储 算法 编译器
整形和浮点型是如何在内存中的存储
整形和浮点型是如何在内存中的存储
|
14天前
|
存储 算法
【三种方法】求一个整数存储在内存中二进制中的1的个数附两道课外练习题
【三种方法】求一个整数存储在内存中二进制中的1的个数附两道课外练习题
10 0
|
16天前
|
存储 编译器 C语言
C语言基础知识:数据在内存中的存储解析(整数,浮点数)
C语言基础知识:数据在内存中的存储解析(整数,浮点数)
|
22天前
|
存储 NoSQL Oracle
Oracle 12c的内存列存储:数据的“闪电侠”
【4月更文挑战第19天】Oracle 12c的内存列存储以超高速度革新数据处理,结合列存储与内存技术,实现快速查询与压缩。它支持向量化查询和并行处理,提升效率,但需合理配置以平衡系统资源。作为数据管理员,应善用此功能,适应业务需求和技术发展。
|
29天前
|
存储 编译器 C语言
爱上C语言:整型和浮点型在内存中的存储(进制转换,原码,反码,补码以及大小端)
爱上C语言:整型和浮点型在内存中的存储(进制转换,原码,反码,补码以及大小端)