NVMe:未来数据中心存储变革的代理

简介:

易失性快速存储器协议(NVMe)定义了一种通过PCIe总线访问固态硬盘驱动器(SSD)的新方法,并且预计在未来几年内将会呈指数级增长,与传统协议(如SATA协议)相比,其更高的性能和较低的延迟具有一定的优势。

NVMe支持的存储基础设施不仅能够得到广泛的部署,而且目前正在进入数据中心领域,通常这些数据中心仍在采用传统的机械硬盘(HDD)和固态硬盘(SSD)。而NVMe协议已经成为下一代数据中心存储的代理人。为了理解这种演变,回顾存储技术的发展过程,并检查在由该协议转换的一些新的应用工作负载是十分重要的。

在过去的几十年中,数据存储遵循了一种类似于数据计算的模式,这种模式从中央主机体系结构中发展出来,演变成分布式的客户机/服务器体系结构。然后,又返回到由虚拟化驱动的中央架构,然后返回由基于Web和云计算的应用程序驱动的分布式架构。存储技术又在直接连接的介质和分布式存储区域网络(SAN)之间摇摆不定,通过并行和串行接口使用SCSI命令集和SATA/SAS协议在CPU和存储介质之间物理移动数据。

随着基于闪存技术的固态硬盘(SSD)的出现,传统的SATA/SAS标准协议似乎有些落伍,但其当初的兴起是因为它们经过了实践验证,兼容且无缝集成到现有系统中。随着时间的推移,尽管与数据访问请求和收据相关的长时间的性能延迟,SATA协议仍然是最常见且成本效益最高的接口标准。硬盘驱动器这些延迟是有情可原的,因为磁格式需要磁盘旋转和寻道导致延迟,但对于使用内存单元(相对于磁盘旋转和寻道)的基于闪存的SSD,SATA协议的延迟是不可接受的。最终,因为SATA标准协议更新太慢,无法在基于闪存的存储系统的应用中实现固态硬盘(SSD)的全部优势。

SATA协议的这些限制使PCI Express(PCIe)成为存储介质未来的逻辑接口,同时也基于为SATA/SAS标准设计的传统SCSI软件栈。PCIe插槽直接连接到CPU(提供类似内存的访问),并在一个较小的软件堆栈运行(参见图1),PCIe接口可以减少数据传输延迟,同时增加传统SATA/SAS的带宽。虽然PCIe接口是朝着正确方向迈出的一步,但每个SSD硬盘都需要自己的专有驱动程序,由于缺乏标准化,这增加了复杂性和不兼容性,因此为SSD厂商开展了更多的开发工作。因此,NVMe协议应运而生。

  图1 SATA和SAS SSD与PCIe SSD的软件堆栈的比较

非易失性存储器(NVME)是基于NAND闪存的固态硬盘(SSD)的标准协议和驱动程序。NVMe的接口由行业领先的存储,网络和服务器供应商(NVMexpress.org)的开放行业联盟开发,提高了基于PCIe的服务器和SSD的非易失性的存储性能,并消除SCSI命令栈和直接连接存储(DAS)与传统HDD接口相关的瓶颈。它是固态介质特有的独特调整的I/O架构,可以去除传统的HDD接口障碍。在概念上,只需要一个驱动程序可以让每个SSD符合标准。

NVMe兼容的固态硬盘(SSD)可以提供高达10倍的基于SATA协议的SSD的读取性能,从而在更少的设备上运行更严格的应用程序工作负载,并使物理硬件的体积更小。最初用于高性能和大容量负荷(溢价成本)的基于NVMe的固态硬盘(SSD)现在可以在之前为基于SATA标准的SSD预留的数据中心的其他领域服务,并且还创建了被广泛采用的计算和存储的融合。

NVMe和固态硬盘

NVMe协议将PCIe闪存存储扩展到新的级别。它是专门针对非易失性固态存储架构优化的。它具有精简的内存接口,命令集和队列设计,非常适合当今的虚拟操作系统。此外,它直接连接到CPU(通过PCIe总线,)可简化存储设备堆栈,并提供比传统SATA/SAS协议更快的性能。因此,所有主要的服务器制造商都实现了对基于NVMe的U.2固态硬盘(2.5英寸格式)的支持,这使其出货量增长,并将很快超过SATA固态硬盘。

  表1 典型SSD硬盘的接口规范

表1显示了使用领先的西部数据SSD硬盘(括号内)进行比较的SATA,SAS,PCIe和NVMe的SSD介质的典型规格。基于NVMe标准的SSD硬盘可提供最佳的IOPS(每秒I/O操作),带宽性能以及最高容量范围。

  表2 SATA与PCIe与NVMe的性能比较

表2比较了基于其高级主机控制器接口(AHCI)与PCIe协议和NVMe标准的SATA协议的关键特性

数据中心的NVMe与SATA

与SATA协议相比,NVMe协议提供更好的带宽和IOPS性能,同时加上较低的延迟。它还可以为主存储设备提供可扩展性,而没有电池支持的RAID或HBA卡的成本或复杂性。使用基于NVMe的存储与基于SATA的存储的优势涵盖了各种工作负载,如以下的讨论所示。

(1)传统的企业数据库工作负载

为了帮助扩展数据库,并避免服务器蔓延或硬件资源利用率不高,Microsoft SQL Server,Oracle DB和Oracle MySQL可以使用SATA协议的12倍的NVMe带宽,其延迟降低50%。例如,具有SATA存储器的单个数据库服务器受到SATA设备性能的I/O等待条件的限制。结果是系统操作较慢。一个常见的解决方案是购买另一台服务器并分担工作负载,或将一台服务器分配给后端库存,另一台服务器将其分配到订单输入中。但是这些种情况下,都需要两个软件许可证。

使用NVMe固态硬盘(SSD)替换基于SATA协议的SSD或HDD可以将I/O等待时间减少50%,从而使数据库工作负载能够在单个服务器上运行,并且只需要一个软件许可证。单个核心数据库应用程序可能花费数万美元,而许多软件许可证可能占总体拥有成本(TCO)和总运营成本(TOC)的60%以上。然而,NVMe提供了交互式商业智能(BI)工作负载所需的带宽和性能,以及支持诸如联机事务处理(OLTP)等事务性工作负载的最高IOPS。

(2)内存数据库的工作负载

Apache Spark和其他内存数据库(IMDB)应用程序(依赖主内存进行数据存储)通过持久存储的存储组件更改和扫描数据集,这些数据集的规模通常大于组合的集群存储器。在这种情况下,每个NVMeSSD提供的较高带宽足以以CPU速度提供DRAM内存重载和相关数据扫描。

在采用SATA协议的情况下,需要RAID0配置中的多个驱动器,在平均故障间隔时间(MTBF)和重建时间之间创造挑战。在8个磁盘RAID0系统中的单一故障意味着节点总是失效,必须重新加载;然而,重新加载节点会将受影响的系统置于“降级模式”中,或者更糟的是在完全重建节点时,可能让它们停止运行。

(3)物联网工作负载

NVMe也非常适合整合各种数据源,特别是从较新的工业物联网(IoT)工作负载产生的数据源。例如,一个工厂可以将数千个传感器以每秒数千次将数据传输到NoSQL数据库(如Mongo DB或Cassandra),每秒数百kB。NVMe的高级带宽对于将这些资源集成到数据库中是至关重要的,同时提供足够的带宽和IOPS来执行分析。

物联网设备(例如自主驾驶汽车,无人机,工厂/农场机器和设备,以及监控摄像机)也收集大量的数据。根据调研机构Gartner公司的研究,到2020年,每辆车辆的连接和自主汽车数据流量可能达到280PB,即每年2.8亿GB。有效处理这些数据的唯一方法是通过车载闪存存储和具有NVMe设备的路边网关。但是,即使使用这种基础设施,大量自主驾驶的“车队”也需要将处理后的数据推送到云端进行存储和分析,从而创建了一个数据海啸,因此需要通过精简的NVMe堆栈实现带宽,IOPS和低延迟。

(4)机器学习的工作负载

机器学习可以有效地使用基于NVMe的设备,特别是即将支持直接内存访问(DMA)扩展,使某些硬件子系统能够独立于CPU访问主系统内存。这种访问使得CPU不仅可以更快地读取数据,而且能够更快地执行更高优先级的任务,例如馈送图形处理单元(GPU)阵列。SATA接口具有较低的GPU利用率,因为数据从多个SATA驱动器传送到DRAM内存,然后使用主机CPU进入GPU。这个过程会导致性能上的差距,特别是当GPU阵列数据不足时。

最后的思考

正如人们过去所体验的计算和存储架构的衰退和流动一样,人们正在经历数据中心的另一波转变。然而,与过去的协议不同,NVMe作为集中化和分散化之间的桥梁,提供了以前不可见的灵活性和选择。因此,人们需要随时关注NVMe将通过计算的未来进行导航,从而实现强大而多功能的系统,并将其作为数据中心变革代理人的应有的地位。



本文转自d1net(转载)

相关实践学习
部署Stable Diffusion玩转AI绘画(GPU云服务器)
本实验通过在ECS上从零开始部署Stable Diffusion来进行AI绘画创作,开启AIGC盲盒。
相关文章
|
数据采集 安全 数据中心
爬虫应该选择住宅ip代理还是数据中心代理?
爬虫应该选择住宅ip代理还是数据中心代理?
爬虫应该选择住宅ip代理还是数据中心代理?
|
存储 人工智能 运维
超大规模云数据中心对存储的诉求有哪些?
要实现超大规模部署的特性,就对存储有别于普通数据中心或者消费市场的诉求。具体有哪些呢?主要有以下几点,我们针对部分信息展开讨论
|
7月前
|
数据采集 安全 测试技术
数据中心代理IP有哪些用途?
数据中心代理IP用于网站爬取、数据采集、SEO、市场竞争情报及广告验证,隐藏真实身份,防止被封禁,模拟全球用户行为,优化网站排名,检测广告效果,保障测试环境的多样性,并作为反爬虫工具保护信息安全。适用于多种场景,提升效率与竞争优势。
|
7月前
|
定位技术 数据中心 UED
数据中心代理IP的速度是否较快?
本文探讨了数据中心代理IP是否更快的问题。数据中心代理IP通过服务器隐藏真实IP,可能改善用户体验,但速度受服务器带宽、网络距离、目标网站性能等因素影响。选择时应注意数据中心的信誉、服务器位置,并进行速度测试,以适应不同需求。并非所有情况都更快,用户需谨慎选择。
|
7月前
|
运维 网络安全 数据中心
数据中心代理IP的优势和特点有哪些?
数据中心代理IP提供高可靠性、高速访问的网络连接,适合频繁访问网络的应用。它们拥有稳定网络环境、强大硬件和专业运维,确保连接稳定性。同时,数据中心的大带宽带来更快的访问速度,优化用户体验。代理IP的IP地址管理功能避免IP封锁问题,支持多种协议,满足不同应用需求。此外,它还能保护用户隐私和网络安全,为个人和企业用户提供有效匿名性。总的来说,数据中心代理IP是提升网络性能和保障隐私的优选方案。
|
7月前
|
监控 定位技术 数据中心
住宅ip与数据中心ip代理的区别是什么
代理IP分为住宅IP和数据中心IP。住宅IP由ISP提供,更难被网站检测,适合需要高匿名度和广泛地理位置的业务,如广告发布和价格比较。数据中心IP源自服务器,虽速度快但易被识别,常用于数据抓取和SEO。住宅IP因其真实用户特性,较少被封锁,但成本较高。选择类型应基于具体使用场景,如小规模数据抓取可选数据中心IP。
|
7月前
|
数据采集 安全 数据中心
数据中心代理IP与普通代理IP有何区别?
数据中心代理IP与普通代理IP主要区别在于来源、稳定性、速度、隐私安全及可用地区。数据中心代理IP更稳定、速度快、隐私安全,提供全球IP,适合大规模爬取和数据采集;普通代理IP来源于个人或小组织,可能不稳定、速度慢,但能满足一般代理需求。
|
安全 数据中心
HTTP静态、动态住宅ip代理和数据中心代理是什么?有什么区别?
HTTP静态、动态住宅ip代理和数据中心代理是什么?有什么区别?
HTTP静态、动态住宅ip代理和数据中心代理是什么?有什么区别?
|
7月前
|
监控 安全 机器人
住宅代理与数据中心有什么不同
住宅代理是通过ISP分配的真实设备IP提供网络匿名性的工具,能绕过地理封锁和限制。与易被检测的数据中心代理相比,它们更难被网站识别,提供更安全的浏览体验。应用包括社交媒体管理、市场分析、价格监控和广告测试等。尽管免费代理存在风险,但选择可靠的付费住宅代理服务可确保安全和功能。在寻求网络自由时,住宅代理成为一种有效解决方案。
|
7月前
|
数据采集 数据中心
住宅IP机场和数据中心IP代理的区别是什么?
住宅IP机场与数据中心IP代理在应用上有别:住宅IP适用于数据采集、爬虫,模拟真实用户,价格较低但稳定性受影响;数据中心IP用于快速稳定访问,如电商抢购、游戏加速,IP质量高、稳定性好,但价格较高。两者各有优势,选择取决于具体需求。