软件定义闪存: SSD加速企业数据中心变革

简介:
  

12月4日,由PMC主办的“闪存2.0加速数据中心存储变革”论坛在北京举行,来自新浪、中国电信、浪潮、Memblaze等技术专家从不同维度探讨闪存如何驱动存储设备的变革,互联网以及垂直领域的数据中心如何通过闪存技术进一步提升数据中心的运维效率。

软件定义闪存:全新的闪存架构

传统的SSD解决方案是一种固定的模式,固件、控制器、内存都没有什么可变的系数。随着大数据的发展,SSD方案需要适应各种应用需求,因此催生了软件定义闪存的出现。PMC开创的软件定义闪存是一种基于控制器的全新闪存架构,指使用基于闪存的SSD来运行软件及固件,以实现从冷存储到高性能SSD及高性价比高速缓存等不同需求。通过利用控制器上的固件针对不同的应用模式进行优化,让闪存发挥最大效益。

据PMC企业存储部NVM方案总经理Derek Dicker介绍,在PMC的客户中,某全闪阵列厂商,某超大规模数据中心以及某企业级PCIe SSD厂商利用PMC的SDF(软件定义闪存)方案来达到更高的SSD使用效益。

PMC企业存储部NVM方案总经理Derek Dicker

互联网公司基于闪存架构的优化

互联网公司对SSD的需求是非常迫切的,负责微博核心数据库架构设计的新浪公司高级数据库工程师杨尚刚介绍,新浪的MySQL数据量是PB级,每日承担访问量百亿级, SSD主要使用在MySQL上,尤其是在随机读写的场景。新浪目前多数使用SATA SSD, 部分应用上会使用PCIe SSD。 使用PCIe SSD的案例中显示,服务器数从10台降到3台,响应时间也是成倍下降,整体成本和整体服务的质量都有非常大的提高。

杨尚刚也提出了在使用SSD中也有挑战,例如,SATA SSD使用RAID情况下性能瓶颈, SSD寿命的监控和生命周期的管理还不够完善, SSD的综合测试非常耗费时间以及精力,以及需要MySQL层面和系统层面做一个整体的优化,以最大化利用SSD的优势。杨尚刚认为,闪存带来的优势是显而易见的,但是领先的技术不一定适合所需的应用场景,一定要斟酌使用。

弹性的整机系统适应多元化需求

服务器厂商同样关注SSD的发展,对于他们来说,更看重的是如何让整机系统足够弹性,以符合规格的更新换代,不同的应用场景以及用户需求的多元化。浪潮集团互联网行业部资深架构师李璀表示,从系统设计的角度来说,使用全SAS 硬盘,或者是硬盘以及SATA SSD的混合存储以及更新至PCIe SSD 都需要在系统设计上作细致的规划及考虑,SSD让整个服务器密度大幅提升,整体系统设计也要能匹配才能让SSD性能发挥出来。

据了解,浪潮推出的Switch产品就是为了解决SSD的发展和主机发展不同步的情况。李璀表示:“服务器的设计遵循摩尔定律,在新规格SSD出来时会有不匹配的情况,通过Switch转接卡的形式让整机支持PCIe NVMe SSD,这样就让原有的系统设计更具弹性,用户也得以通过原有的服务器使用新一代的闪存设备。浪潮在天蝎整机柜的产品以及一个通用服务器产品线都将支持NVMe规格的SSD。”

运营商如何做存储

相比于互联网企业而言,电信运营商在SSD应用领域的脚步稍显缓慢。中国电信云计算与大数据主管工程师王峰博士表示,中国电信做为国内最大的数据中心运营商,需要的是低成本、快捷、多维度、开放的存储平台。长远的目标是平台云化后,在云上满足不同的存储业务需求,并在平台上共享数据。

他说:“将中国电信的存储理念简称为“快”、“活”两字。“快”指的是快速存储。数据产生速度很快,部分需要快速处理,这里就有SSD的需求,因为专业设备的成本太高。中国电信现在做很多SSD的探索,例如用于定制化的服务器,整机柜和单机里面。“活”是通过电信自己研发的分布式存储系统让各种数据可以被利用起来。分布式存储的优势海量扩展性好,扩展性好,满足在线、开放性的要求,新的数据很快通过存储服务器的方式实现扩容,使整个存储空间的代价降下来。电信分布式存储的场景包括天翼云存储,集中备份以及网盘。“

NVMe PCIe 是大势所趋

近两年,在企业级SSD领域有一家发展非常迅猛的公司,那就是Memblaze 。成立不到三年,已经拿下了奇虎360、百度、腾讯等互联网巨头客户。Memblaze高级战略合作总监张泰乐博士表示,SSD未来有两大趋势,一是SATA SSD向PCIe SSD的发展,二是混合存储阵列将走向全闪阵列。“Memblaze的产品演进将支持基于NVMe的PCIe SSD, 且各大OEM厂商以及软件生态圈都已经明确支持NVMe的标准,”张泰勒说,“Memblaze 最新推出的PBlaze4 PCIe SSD 系列产品采用PMC的控制芯片,PMC是Memblaze重要的合作伙伴,具备优秀的芯片设计能力,通过其SDF的功能,Memblaze能将自己的管理算法结合到控制器中,以达到更好的性能以及更低的成本。”

会上,张泰勒透露,PBlaze4未来有两种产品形态,一个是卡形式,一个是盘的形态。卡的形态适用于没有8639的服务器,容量最高达6.4T,对于盘形态,面对8639可以热插拔的,最大的容量是4T,PBlaze4将于明年上半年量产。

PMC服务器、存储系统及闪存解决方案

作为SSD控制器的提供商,PMC也迎来了更大的机会。PMC产品包括Adaptec by PMC 的RAID阵列卡和HBA卡、Tachyon SAS/SATA及Fibre Channel 协议控制器、RAID控制器、Flashtec PCIe闪存控制器及NVRAM加速卡、maxSAS扩展器和FC盘片互连产品等等。这些产品相互配合,为业界领先的存储OEM、ODM及超大规模数据中心提供了端到端的半导体及软件解决方案,在推动SSD发展上起到了非常重要的作用。


者:老门
来源:51CTO
目录
相关文章
|
存储 机器学习/深度学习 人工智能
英特尔持续推动NAND技术创新,引领数据中心QLC SSD普及浪潮
2021中国闪存市场峰会(CFMS)9月14号在深圳成功举行,今年主题为 “存储标准 - 存储生态”。这场高标准市场化运作的峰会,得到众多产业链核心厂商的积极响应和大力支持,英特尔、三星、美光、铠侠、长江存储等企业悉数到场。英特尔NPSG亚太区销售总监倪锦峰在会上发表了“英特尔推动NAND技术创新,释放存储潜力”的主题演讲,承诺英特尔会继续加强对NAND技术的投入,并且通过今年新发布的D5-P5316新一代QLC SSD,推动QLC技术在数据中心的普及。
437 0
英特尔持续推动NAND技术创新,引领数据中心QLC SSD普及浪潮
|
Kubernetes Cloud Native Linux
什么是Kubernetes,以及Orchestration如何重新定义数据中心
在短短四年多的时间里,谷歌内部关于容器管理的项目已经颠覆了VMware、微软、甲骨文以及其他所有未来很具前景的数据中心。 那么到底是什么改变了一切呢?在所有软件依赖操作系统平台的时代,数据中心已经确立了其目的和功能,Kubernetes的功能显得并不那么显著。
3221 0
|
存储 机器学习/深度学习 人工智能
英特尔持续推动NAND技术创新,引领数据中心QLC SSD普及浪潮
2021中国闪存市场峰会(CFMS)9月14号在深圳成功举行,今年主题为 “存储标准 - 存储生态”。这场高标准市场化运作的峰会,得到众多产业链核心厂商的积极响应和大力支持,英特尔、三星、美光、铠侠、长江存储等企业悉数到场。
252 0
英特尔持续推动NAND技术创新,引领数据中心QLC SSD普及浪潮
|
存储 运维 安全
话说数据中心里的软件定义
话说数据中心里的软件定义
163 0
话说数据中心里的软件定义
|
存储 安全 大数据
如何规划软件定义的数据中心网络
数据中心网络是企业IT创建私有云和混合云架构战略中的关键组成部分,它能够改进数据中心的网络的自动化、敏捷性、安全性和分析能力,能够实现企业自有应用程序与公共云服务的无缝集成。随着时间的推移,前沿软件将会逐渐向基于意图的数据中心网络转变,以实现全面自动化和快速修复应用性能问题。
2248 0
|
4月前
|
机器学习/深度学习 存储 监控
利用机器学习技术优化数据中心能效
【7月更文挑战第36天】在数据中心管理和运营中,能源效率已成为关键性能指标之一。随着能源成本的不断上升以及环境保护意识的增强,开发智能化、自动化的解决方案以降低能耗和提高能源利用率变得尤为重要。本文探讨了如何应用机器学习技术对数据中心的能源消耗进行建模、预测和优化,提出了一个基于机器学习的框架来动态调整资源分配和工作负载管理,以达到节能的目的。通过实验验证,该框架能够有效减少数据中心的能耗,同时保持服务质量。