当前，随着互联网+、云计算、大数据、人工智能的蓬勃发展，新IT成为加速产业升级、业务创新、推动新业务创新与实现世界经济增长的核心引擎。在新经济及技术环境下，随着新IT技术的日益普及，和企业级应用对性能的要求越来越高，传统存储的IOPS性能和低延迟已经成为企业业务发展的瓶颈，使得业务发展与创新面临严峻挑战。 我们知道，存储和计算性能的发展存在着极大的不平衡性。在“摩尔定律”之下，处理器、内存的性能发展很快，相比之下存储性能发展比较缓慢，存储性能成为IT加速的关键瓶颈。以前企业是通过增加硬盘数量来解决存储性能瓶颈，但是效果非常有限，且浪费空间和能源。目前已有客户使用SATA/SAS SSD（Solid State Drives：固态硬盘）来替代普通硬盘，业务性能虽然得到一定的提升，但是相比过剩的CPU、内存等性能资源仍远远不够。 Gartner的市场分析报告数据显示，越来越多的企业选择SSD来替代传统硬盘，预计在2017年SSD的出货量将超过传统硬盘（见图1）。 图1：服务器侧SSD与SAS HDD发货量 企业级SSD，在存储性能、降低响应延迟、高密度低能耗方面比普通硬盘有着巨大的先天优势，SSD替代普通硬盘已经成为业界共识。SSD经过SATA、SAS的多代发展，既受制于SATA、SAS协议的的固有性能限制，也受制于传统服务器PCIe槽位的可扩展性限制。基于NVMe（Non Volatile Memory express：非易失性存储标准）的SSD，成为解决服务器存储性能瓶颈的新选择。随着SSD的价格逐年降低，NVMe SSD将更快进入企业IT核心业务主存储系统中，并成为I/O性能提升、应用加速的首选，尤其是数据库OLTP/OLAP等低延迟、高并发的业务应用。NVMe SSD，是企业为IT业务加速、为应用加速，从而成为加速改变IT世界的新力量。 目前业界主要有M.2、PCIe插卡及U.2等SSD产品形态，它们都是直接与PCIe通道连接，具备高I/O性能。其中M.2形态的SSD主要是应用于个人电脑市场，PCIe插卡形态的SSD主要应用于互联网行业及企业市场，而U.2形态的SSD是2.5英寸的硬盘形态，需要服务器的硬盘背板支持。企业用户更青睐于U.2 NVMe SSD，原因在于，其进一步提升SSD性能的同时（是SATA SSD性能的10倍），其沿用的传统驱动器形状标准可与服务器、存储设备设计标准兼容，前端插拔，易于维护（PCIe插卡形态的SSD需开箱维护，停机不可避免）且更易扩展到更大存储容量，有利于保护企业用户的既有投资并延续日常使用及运维习惯。对比见下表1： 表1：SSD产品形态对比 基于如上趋势判断，以及业界大数据类业务对高I/O性能的迫切要求，华为服务器秉承一贯的“持续创新，让计算变简单”的理念，投入研发资源，不断更新服务器的硬盘背板、Riser卡、高速线缆的设计，并增加新的PCIe Switch芯片解决PCIe通道总数限制的创新性解决方案，研发出全新一代服务器架构平台。再结合多年的NVMe SSD硬盘研发经验积累（NVMe SSD硬盘业界性能第一：3.2GB/s带宽、80万IOPS），通过自研ASIC SSD控制芯片及NVMControl技术，持续完善服务器全系列对U.2 NVMe SSD硬盘的支持（见下表2），迎接服务器全闪存风暴的来临，并为企业用户带来“同等容量、性能翻倍、节能40%”的可观价值。 表2：华为支持U.2 NVMe SSD硬盘服务器机型 华为NVMe SSD服务器，可满足数据库OLTP/OLAP、内容识别（如深度学习算法训练）、热点数据存储（如高频关键词搜索、热点视频在线点播）、频繁冷热数据转换、内存数据库、媒体制作等业务场景的大数据量、高I/O并发、低延时的业务要求，也可作为云化资源池的高速存储资源。 企业新IT在选择SSD服务器时，已经不再单纯的仅从SSD的价格来衡量，而是更趋于理性，从SSD的性能、经济性、可靠性、管理性等多个角度进行综合考虑。SSD与的CPU、内存的紧密结合，不仅意味着为业务的关键性负载提供高I/O性能、以及最大限度的提高SSD的使用效率与管理效率，同时还意味着能够充分保护企业未来的IT投资，在满足数据量激增、业务量爆发的业务发展基本要求下，从更长时间周期中降低企业新IT的总TCO。 原文发布时间为：2016年11月9日 本文来自云栖社区合作伙伴至顶网，了解相关信息可以关注至顶网。

当前，随着互联网+、云计算、大数据、人工智能的蓬勃发展，新IT成为加速产业升级、业务创新、推动新业务创新与实现世界经济增长的核心引擎。在新经济及技术环境下，随着新IT技术的日益普及，和企业级应用对性能的要求越来越高，传统存储的IOPS性能和低延迟已经成为企业业务发展的瓶颈，使得业务发展与创新面临严峻挑战。 我们知道，存储和计算性能的发展存在着极大的不平衡性。在"摩尔定律"之下，处理器、内存的性能发展很快，相比之下存储性能发展比较缓慢，存储性能成为IT加速的关键瓶颈。以前企业是通过增加硬盘数量来解决存储性能瓶颈，但是效果非常有限，且浪费空间和能源。目前已有客户使用SATA/SAS SSD（Solid State Drives：固态硬盘）来替代普通硬盘，业务性能虽然得到一定的提升，但是相比过剩的CPU、内存等性能资源仍远远不够。 Gartner的市场分析报告数据显示，越来越多的企业选择SSD来替代传统硬盘，预计在2017年SSD的出货量将超过传统硬盘（见图1）。   图1：服务器侧SSD与SAS HDD发货量 企业级SSD，在存储性能、降低响应延迟、高密度低能耗方面比普通硬盘有着巨大的先天优势，SSD替代普通硬盘已经成为业界共识。SSD经过SATA、SAS的多代发展，既受制于SATA、SAS协议的的固有性能限制，也受制于传统服务器PCIe槽位的可扩展性限制。基于NVMe（Non Volatile Memory express：非易失性存储标准）的SSD，成为解决服务器存储性能瓶颈的新选择。随着SSD的价格逐年降低，NVMe SSD将更快进入企业IT核心业务主存储系统中，并成为I/O性能提升、应用加速的首选，尤其是数据库OLTP/OLAP等低延迟、高并发的业务应用。NVMe SSD，是企业为IT业务加速、为应用加速，从而成为加速改变IT世界的新力量。 目前业界主要有M.2、PCIe插卡及U.2等SSD产品形态，它们都是直接与PCIe通道连接，具备高I/O性能。其中M.2形态的SSD主要是应用于个人电脑市场，PCIe插卡形态的SSD主要应用于互联网行业及企业市场，而U.2形态的SSD是2.5英寸的硬盘形态，需要服务器的硬盘背板支持。企业用户更青睐于U.2 NVMe SSD，原因在于，其进一步提升SSD性能的同时（是SATA SSD性能的10倍），其沿用的传统驱动器形状标准可与服务器、存储设备设计标准兼容，前端插拔，易于维护（PCIe插卡形态的SSD需开箱维护，停机不可避免）且更易扩展到更大存储容量，有利于保护企业用户的既有投资并延续日常使用及运维习惯。对比见下表1： 表1：SSD产品形态对比 基于如上趋势判断，以及业界大数据类业务对高I/O性能的迫切要求，华为服务器秉承一贯的"持续创新，让计算变简单"的理念，投入研发资源，不断更新服务器的硬盘背板、Riser卡、高速线缆的设计，并增加新的PCIe Switch芯片解决PCIe通道总数限制的创新性解决方案，研发出全新一代服务器架构平台。再结合多年的NVMe SSD硬盘研发经验积累（NVMe SSD硬盘业界性能第一：3.2GB/s带宽、80万IOPS），通过自研ASIC SSD控制芯片及NVMControl技术，持续完善服务器全系列对U.2 NVMe SSD硬盘的支持（见下表2），迎接服务器全闪存风暴的来临，并为企业用户带来"同等容量、性能翻倍、节能40%"的可观价值。 表2：华为支持U.2 NVMe SSD硬盘服务器机型 华为NVMe SSD服务器，可满足数据库OLTP/OLAP、内容识别（如深度学习算法训练）、热点数据存储（如高频关键词搜索、热点视频在线点播）、频繁冷热数据转换、内存数据库、媒体制作等业务场景的大数据量、高I/O并发、低延时的业务要求，也可作为云化资源池的高速存储资源。 企业新IT在选择SSD服务器时，已经不再单纯的仅从SSD的价格来衡量，而是更趋于理性，从SSD的性能、经济性、可靠性、管理性等多个角度进行综合考虑。SSD与的CPU、内存的紧密结合，不仅意味着为业务的关键性负载提供高I/O性能、以及最大限度的提高SSD的使用效率与管理效率，同时还意味着能够充分保护企业未来的IT投资，在满足数据量激增、业务量爆发的业务发展基本要求下，从更长时间周期中降低企业新IT的总TCO。 原文发布时间为：2016年10月24日 本文来自云栖社区合作伙伴至顶网，了解相关信息可以关注至顶网。

数据中心服务器该选基于SAS或PCIe的闪存设备么?在服务器上有哪些SSD可选呢? 随着闪存成本的下降，可靠性的提升，SSD闪存存储在数据中心获得大量部署。基于PCIe的闪存存储相比基于SAS的设备，在数据中心服务器中面临的挑战更少，但同时有多种选择。 闪存存储组件——固态硬盘SSD、固态加速器SSA与storage-on-DIMM设备——快速成为主流，在数据中心中备受追捧。 SSD已经出现多年，依赖标准串行连接SCSI (SAS)，它卖出了大量的闪存。这让操作系统和固件与SSD互联，就像它们与磁性的HDD那样。服务器上的SSD提升本地存储容量，或处理诸如页面交换或文件缓存这样的任务。SSD也出现在企业存储阵列中，作为HDD或所有SSD的高性能媒介。 一般常见的SAS-1 and -2接口速度是3与6Gbps，对SSD存储流量带来潜在瓶颈。数据中心采用的服务器与存储拥有SAS-3接口，有12Gbps ，号称24 Gbps版本的SAS-4正在研发中。但是SAS仍然比服务器内部的PCIe接口慢，PCIe拥有多个通道，在需要的时候每个通道达到15.7 Gbps。PCIe接口提供可用的四个通道，带宽高达63Gbps。 一大新兴趋势是使用基于PCIe的闪存SSA，也称为I/O加速，作为服务器上的逻辑高性能存储。SSA包含大型SSD，通过PCIe而不是SAS通信。加速器适合所有类型的对存储要求苛刻的任务，如服务大数据项目的数据库，保存虚拟机或虚拟桌面镜像，为Exchange这样的大型企业应用存储数据。 在服务器上使用较新的SSD可让数据中心在可用的DIMM插槽上紧挨处理器安装闪存设备。Storage-on-DIMM也叫做flash-on-DIMM，该设备极为贴近处理器。IOPS可超越这些基于SAS或PCIe的闪存设备。非易失性存储storage-on-DIMM设备适合SSA能完成的任务。 用于基于服务器存储的最佳SSD并不是拥有最快读写的那些。在你需要的性能与能负担的预算之间做出平衡，乘以数据中心中需要SSD的服务器数量，然后作出正确的购买决策。 作者：Stephen J. Bigelow 翻译：唐琼瑶 来源：51CTO

所谓“天下武功，唯快不破。”在武侠的世界里，天下没有坚不可摧的武功，但当掌握了速度的优势，让速度达到极致的时候，往往能抵挡复杂的招式，立于武林不败之地。   在数字经济时代，如何在分秒必争的商业环境中把握先机？通过对数据的快速处理分析，无疑能帮助企业迅速发掘商机，因此提高数据处理速度则显得更为迫切。   当前的大数据分析模式可以分为“离线处理”和“实时处理”两种类型，“离线分析”可以对业务数据和想要分析的数据样本进行恰当的分离，只针对分离后的数据样本进行建模分析，这种分析模式的优势在于，可以对数据做较复杂的业务处理，但显然无法第一时间把握市场的发展趋势。   “实时分析”则顾名思义，是针对正在进行的业务数据进行即时的处理与分析，很明显，这种分析模式能够让企业随时了解业务状况的变化趋势。而且，针对业务数据的分析越及时越充分，分析结果就能够更灵敏、准确。但受限于系统的处理能力，往往很难进行复杂的业务处理。   “闪存”的出现被视为应景的技术，因为具有较低的延迟和较高的吞吐量，闪存对于日益严峻的数据库应用架构非常具有吸引力。   针对快速实时又兼顾稳定可靠的数据处理，华为采用基于SSD的融合存储OceanStor V3，可提升业界主流的数据库应用性能，将数据库处理速度提升9倍左右，结合详细的测试报告，本文带你一起去体验一下华为闪存的“快”。   数据库业务大致上可以分为 OLTP（Online Transaction Processing）和 OLAP（Online Analytical Processing）两种应用类型。作为典型的OLTP应用，在线订单业务中，新下订单、支付操作、发货处理、订单查询和库存查询等交易系统都是最常见的操作，该业务模型的主要性能指标与每分钟事务数（TPM）密切相关，TPM代表系统在一分钟内所能够处理的交易量，TPM越高，代表着更强的处理能力。   DB2数据库   在主流数据库软件中，DB2 数据库在OLTP属于I/O 密集型，对硬盘的性能需求较高，但现在企业级硬盘的容量太大且缓慢，而硬盘的性能提升却始终未能同步。   华为针对中小型企业数据库规模的OLTP 类型DB2 数据库，将SSD应用于OceanStor V3 融合存储进行验证。     企业中小型事务数据库每分钟事务处理数   将25块SSD 用于OceanStor 5500 V3，在保证主机平均时延低于1ms 和磁盘利用率低于60%情况下，企业中小型事务数据库每分钟事务处理数（TPM）提升了9.2 倍，并发用户数提升了9.5 倍，事务IOPS 提升了8.9 倍。不仅显著提升DB2 数据库性能，而且降低总体拥有成本。   Oracle数据库   Oracle OLTP应用程序为面向交易型业务的关键任务程序，需要较低的I/O延迟和较高的IOPS性能。   华为针对中小型企业数据库规模的OLTP类型Oracle数据库，将SSD硬盘应用于OceanStor V3融合存储进行验证，该方案基于Oracle 11g集群数据库架构，面向高IOPS、低时延需求的事务型企业数据库，如ERP和CRM等系统。   将25块、50块SSD两种场景配置于华为OceanStor 5500 V3，替代同样盘数的SAS硬盘，在相同配置情况下，验证中小型Oracle事务数据库性能提升情况，同时与使用2块SSD硬盘配置SmartCache进行加速的结果进行对比。       企业事务数据库每分钟处理数   将SSD硬盘用于OceanStor 5500 V3，在保证主机平均时延低于1ms和磁盘利用率为60%情况下，两种场景下企业事务数据库每分钟事务处理数（TPM）分别提升了9.3、9.2倍，事务IOPS分别提升了6.1、8.8倍。   在同样条件下，使用SmartCache特性提升性能，企业事务数据库每分钟事务处理数（TPM）提升22%、30%。   SQL Server 数据库   SQL Server 数据库是应用最为广泛的关系型数据库之一，并一直在Windows 平台占据着主流地位，SQL Server OLTP应用程序为面向交易型业务的关键任务程序，需要较低的I/O延迟和较高的IOPS性能。   基于SQL Server 2012，华为针对中小型企业数据库规模的OLTP 类型SQL Server 数据库，将25 块SSD 用于OceanStor 5500 V3，在保证主机平均时延低于1ms 和磁盘利用率为60%情况下，企业中小型事务数据库每分钟事务处理数（TPM）提升9.5 倍，事务IOPS 提升了10.7 倍。   企业中小型事务数据库每分钟事务处理数   将SSD应用于OceanStor V3融合存储，为企业数据库应用带来显著的性能提升，并且降低用户总体拥有成本。此外，通过使用相同数量的SSD代替SAS硬盘，可进一步提升客户体验和满意度，实现企业利润的提升。   秉承开放的原则，华为不仅联合多家闪存供应商共同开发企业级SSD，并将针对主流数据库软件，进行特征识别，深度优化性能，发布最佳实践，帮助企业核心业务向闪存时代平滑演进。 ====================================分割线================================ 本文转自d1net（原创）

华为在近日的欧洲商业驱动数据中心大会上，宣布启动服务器领域NVMe SSD "闪存风暴"行动，实现"同等容量、性能翻倍、节能40%"。该行动旨在服务器产品使用华为ES3000 V3 NVMe PCIe SSD同等容量替代SATA SSD，业务性能提升2倍以上，硬盘能耗节省40%。华为希望通过本项行动，帮助客户大幅提升业务性能，降低系统TCO。 在此次欧洲商业驱动数据中心大会上，华为企业BG CTO梁永健发表主题为"Empowering Your Infrastructure, Enriching Your Services"的演讲。他指出，丰富人们的生活与应用，需要IT基础设施更加敏捷、高效；同时宣布开启NVMe SSD"闪存风暴"，采用华为ES3000 V3 NVMe PCIe SSD掀起服务器硬盘的创新变革。 众所周知，服务器发展至今，硬盘一直是阻碍业务性能大幅提升的关键部件。现在有服务器使用SATA SSD固态盘来替代传统机械硬盘，虽然业务性能有较明显的提升，但还是无法充分使用系统的CPU、内存等资源。这时，我们就需要一种比SATA SSD盘性能更强大的存储设备来充分使用系统资源，将业务性能再次提升。 华为作为PCIe SSD技术的开拓者，早在2005年就开始研发PCIe SSD，2007年发布业界首款产品--ES2000 PCIe SSD，帮助互联网公司大幅提升搜索、Web接入、数据库等业务性能。 华为第六代产品--ES3000 V3 NVMe PCIe SSD，提供2.5寸盘形态，最大容量3.2TB，采用华为1812 ASIC SSD控制器和业界最新工艺的NAND Flash颗粒，结合华为创新的NVMControl算法技术，提供高达80万 IOPS性能，相当于10多块SATA SSD。 通过在SSD控制器、Flash芯片领域合作创新，2015年9月HCC上，华为在存储领域首推SSD等容量替换传统磁盘行动，降低闪存在数据中心的应用门槛，"让数据库快9倍"。 华为本次发布的服务器领域"NVMe SSD替换SATA SSD"行动和去年9月HCC发布的存储领域"SSD等容量替换传统磁盘"行动共同组成 "IT闪存风暴"，都是为了帮助客户对IT基础设施性能进行加速，支持客户业务持续创新。" 本文转自d1net（转载）

在数码相机替代胶卷时代的过程中，尽管人们对曾经的过去还留有不舍和难以割断的情怀，但是“更快、更便捷、更经济”的新技术所实现的不断突破，带给了人们全新的体验。 与之相似的是当下的存储领域中，HDD（硬盘驱动器）与SSD（固态硬盘）这两者之间的情形，SSD从一个概念的提出到产品化的完成，再到触手可及的企业规模化应用，到底距离这两者完成历史使命交接的时刻还有多远？ 3大问题等待跨越 有保守派说，这个“距离”至少还有3个问题尚待逾越： 产能。磁盘厂商经过多年的积累，规模化的供货能力已经可以充分满足市场的需要，对此企业级SSD如何给予保障？ 价格。尽管大家都清楚SSD的优势意味着什么，但是其高山仰止的价格，也是一直以来曲高和寡的主要原因，SSD如何把成本真正做到与磁盘持平？ 现有系统冲击。人们希望有更好的改变，然而又担心新的改变对原有系统造成冲击，毕竟谁也不想给自己找麻烦，做第一个吃螃蟹的人。 众所周知，服务器发展至今，硬盘一直是阻碍业务性能大幅提升的关键部件。现在有服务器使用SATA SSD固态盘来替代传统机械硬盘，虽然业务性能有较明显的提升，但还是无法充分使用系统的CPU、内存等资源。这时，我们就需要一种比SATA SSD盘性能更强大的存储设备来充分使用系统资源，将业务性能再次提升。 近几年在存储业界，各厂商无不打着进军SSD的旗号，因为大家都预测到这个发展趋势的必然性，不甘心落后。然而另一方面，在实际推行过程中却因为以上3个问题没有真正得到解决，而在实际操作过程中举棋不定，似乎事情就这样被定格了…… 从2015年9月起，情况有了转机，SSD再次闯入了人们的视线，华为IT产品线副总裁黄瑾在HCC 2015上对外宣布了一个很有分量的消息——通过在SSD控制器、闪存芯片领域合作创新，华为加速SSD的企业规模化应用，降低闪存在数据中心的应用门槛。 统计显示，从2015年起，HDD的市场开始下滑，到2017年，企业SSD的市场份额将会超越传统SAS盘，全闪存时代正在来临。华为很早就意识到，闪存技术将会改变整个IT市场。华为预计，到2020年，数据中心的所有生产业务将会运行在闪存介质存储上。凭借持续多年在闪存领域的投入，华为致力于让数据中心迈入全闪存时代。 “客户等待SSD时代的真正到来已经太久了，既然历史一定要改变，华为愿意并有决心推动这个历史拐点的更早到来。”华为存储产品线总裁范瑞琦这样说。 破解桎梏，营造SSD供应大动脉 早在2005年，华为就开始闪存技术的研究，11年的沉淀使得华为在SSD领域拥有了深厚的技术积累，在闪存领域获得超过130项核心技术专利，华为的SSD产品在企业级市场已经拥有相当庞大的市场发货量。 在存储数据处理方面，华为提供IO处理加速芯片，为RAID计算、数据校验、ECC纠错等计算密集型业务提供硬件加速处理，提高存储性能。在存储接口方面，华为提供智能软件定义接口的存储前端接口芯片，并且支持存储协议的硬件卸载，加快IO调度速度。此外，为了提升SSD性能，华为提供专有的硬件加速、资源管理、垃圾回收、磨损均衡等处理技术。 2015年9月，华为在业内率先掀起了一股“闪存风暴”，通过在SSD控制器、闪存芯片领域合作创新，以及面向用户应用的软件优化，加速SSD的企业规模化应用，降低闪存在数据中心的应用门槛。拆下HDD，换上SSD，这件事所有存储厂商都能做，华为“闪存风暴”的目的肯定并不仅仅在于此。范瑞琦认为，闪存在企业级应用中的普及，关键要做的是存储资源的池化和重构，它并不像“把大象装进冰箱”那样简单。 那么，SSD的时代即将来临，华为有哪些竞争力呢？范瑞琦表示：“首先，华为拥有自主开发的SSD控制器，并掌握了SSD领域的一些核心专利，具有业界领先的技术优势。在2015年9月19日，我们和闪存颗粒的主流供应商美光签署了闪存战略合作备忘录，在闪存技术应用上获得了美光的大力支持，华为将通信领域的经验和技术利用到闪存领域，使闪存颗粒的使用寿命提升到业界水平的3倍。” 相对于其他存储厂商，华为是唯一同时自研SSD系统、SSD以及SSD控制器芯片的厂商，并且通过与闪存颗粒厂商的密切合作，能够以最优成本持续获得最先进的闪存颗粒。独立核心技术的掌握再加上生产能力的配套，使得华为的SSD具有了更强的性能优势、可靠性和成本优势，一旦消除客户的心理顾虑，SSD的时代将真正全面到来。 谁将成为SSD时代先锋 SSD时代一旦开启，谁将成为第一批受益的群体呢？以数据库应用为例，20TB存储容量配置下，数据库事务处理能力提升9倍，决策分析类场景的业务批处理时间可缩短80%；在VDI（虚拟桌面基础架构）场景下，可多支撑3000个虚拟桌面。并且在满足同等性能需求的前提下，可降低电力和物理空间消耗80%以上，也代表着绿色的IT方向。 时代总是不断前进发展，当一切已经准备就绪，新的机遇摆在你面前，是迎接，还是等待？选择权最终在你手中。本文转自d1net（转载）

   12月4日，由PMC主办的“闪存2.0加速数据中心存储变革”论坛在北京举行，来自新浪、中国电信、浪潮、Memblaze等技术专家从不同维度探讨闪存如何驱动存储设备的变革，互联网以及垂直领域的数据中心如何通过闪存技术进一步提升数据中心的运维效率。 软件定义闪存：全新的闪存架构 传统的SSD解决方案是一种固定的模式，固件、控制器、内存都没有什么可变的系数。随着大数据的发展，SSD方案需要适应各种应用需求，因此催生了软件定义闪存的出现。PMC开创的软件定义闪存是一种基于控制器的全新闪存架构，指使用基于闪存的SSD来运行软件及固件，以实现从冷存储到高性能SSD及高性价比高速缓存等不同需求。通过利用控制器上的固件针对不同的应用模式进行优化，让闪存发挥最大效益。 据PMC企业存储部NVM方案总经理Derek Dicker介绍，在PMC的客户中，某全闪阵列厂商，某超大规模数据中心以及某企业级PCIe SSD厂商利用PMC的SDF(软件定义闪存)方案来达到更高的SSD使用效益。 PMC企业存储部NVM方案总经理Derek Dicker 互联网公司基于闪存架构的优化 互联网公司对SSD的需求是非常迫切的，负责微博核心数据库架构设计的新浪公司高级数据库工程师杨尚刚介绍，新浪的MySQL数据量是PB级，每日承担访问量百亿级, SSD主要使用在MySQL上，尤其是在随机读写的场景。新浪目前多数使用SATA SSD, 部分应用上会使用PCIe SSD。 使用PCIe SSD的案例中显示，服务器数从10台降到3台，响应时间也是成倍下降，整体成本和整体服务的质量都有非常大的提高。 杨尚刚也提出了在使用SSD中也有挑战，例如，SATA SSD使用RAID情况下性能瓶颈, SSD寿命的监控和生命周期的管理还不够完善, SSD的综合测试非常耗费时间以及精力，以及需要MySQL层面和系统层面做一个整体的优化，以最大化利用SSD的优势。杨尚刚认为，闪存带来的优势是显而易见的，但是领先的技术不一定适合所需的应用场景，一定要斟酌使用。 弹性的整机系统适应多元化需求 服务器厂商同样关注SSD的发展，对于他们来说，更看重的是如何让整机系统足够弹性，以符合规格的更新换代，不同的应用场景以及用户需求的多元化。浪潮集团互联网行业部资深架构师李璀表示，从系统设计的角度来说，使用全SAS 硬盘，或者是硬盘以及SATA SSD的混合存储以及更新至PCIe SSD 都需要在系统设计上作细致的规划及考虑，SSD让整个服务器密度大幅提升，整体系统设计也要能匹配才能让SSD性能发挥出来。 据了解，浪潮推出的Switch产品就是为了解决SSD的发展和主机发展不同步的情况。李璀表示：“服务器的设计遵循摩尔定律，在新规格SSD出来时会有不匹配的情况，通过Switch转接卡的形式让整机支持PCIe NVMe SSD，这样就让原有的系统设计更具弹性，用户也得以通过原有的服务器使用新一代的闪存设备。浪潮在天蝎整机柜的产品以及一个通用服务器产品线都将支持NVMe规格的SSD。” 运营商如何做存储 相比于互联网企业而言，电信运营商在SSD应用领域的脚步稍显缓慢。中国电信云计算与大数据主管工程师王峰博士表示，中国电信做为国内最大的数据中心运营商，需要的是低成本、快捷、多维度、开放的存储平台。长远的目标是平台云化后，在云上满足不同的存储业务需求，并在平台上共享数据。 他说：“将中国电信的存储理念简称为“快”、“活”两字。“快”指的是快速存储。数据产生速度很快，部分需要快速处理，这里就有SSD的需求，因为专业设备的成本太高。中国电信现在做很多SSD的探索，例如用于定制化的服务器，整机柜和单机里面。“活”是通过电信自己研发的分布式存储系统让各种数据可以被利用起来。分布式存储的优势海量扩展性好，扩展性好，满足在线、开放性的要求，新的数据很快通过存储服务器的方式实现扩容，使整个存储空间的代价降下来。电信分布式存储的场景包括天翼云存储，集中备份以及网盘。“ NVMe PCIe 是大势所趋 近两年，在企业级SSD领域有一家发展非常迅猛的公司，那就是Memblaze 。成立不到三年，已经拿下了奇虎360、百度、腾讯等互联网巨头客户。Memblaze高级战略合作总监张泰乐博士表示，SSD未来有两大趋势，一是SATA SSD向PCIe SSD的发展，二是混合存储阵列将走向全闪阵列。“Memblaze的产品演进将支持基于NVMe的PCIe SSD, 且各大OEM厂商以及软件生态圈都已经明确支持NVMe的标准，”张泰勒说，“Memblaze 最新推出的PBlaze4 PCIe SSD 系列产品采用PMC的控制芯片，PMC是Memblaze重要的合作伙伴，具备优秀的芯片设计能力，通过其SDF的功能，Memblaze能将自己的管理算法结合到控制器中，以达到更好的性能以及更低的成本。” 会上，张泰勒透露，PBlaze4未来有两种产品形态，一个是卡形式，一个是盘的形态。卡的形态适用于没有8639的服务器，容量最高达6.4T，对于盘形态，面对8639可以热插拔的，最大的容量是4T，PBlaze4将于明年上半年量产。 PMC服务器、存储系统及闪存解决方案 作为SSD控制器的提供商，PMC也迎来了更大的机会。PMC产品包括Adaptec by PMC 的RAID阵列卡和HBA卡、Tachyon SAS/SATA及Fibre Channel 协议控制器、RAID控制器、Flashtec PCIe闪存控制器及NVRAM加速卡、maxSAS扩展器和FC盘片互连产品等等。这些产品相互配合，为业界领先的存储OEM、ODM及超大规模数据中心提供了端到端的半导体及软件解决方案，在推动SSD发展上起到了非常重要的作用。 者：老门 来源：51CTO

在数码相机替代胶卷时代的过程中，尽管人们对曾经的过去还留有不舍和难以割断的情怀，但是“更快、更便捷、更经济”的新技术所实现的不断突破，带给了人们全新的体验。 与之相似的是当下的存储领域中，HDD（硬盘驱动器）与SSD（固态硬盘）这两者之间的情形，SSD从一个概念的提出到产品化的完成，再到触手可及的企业规模化应用，到底距离这两者完成历史使命交接的时刻还有多远？ 3大问题等待跨越 有保守派说，这个“距离”至少还有3个问题尚待逾越： 1、产能：磁盘厂商经过多年的积累，规模化的供货能力已经可以充分满足市场的需要，对此企业级SSD如何给予保障？ 2、价格：尽管大家都清楚SSD的优势意味着什么，但是其高山仰止的价格，也是一直以来曲高和寡的主要原因，SSD如何把成本真正做到与磁盘持平？ 3、现有系统冲击：人们希望有更好的改变，然而又担心新的改变对原有系统造成冲击，毕竟谁也不想给自己找麻烦，做第一个吃螃蟹的人。 众所周知，服务器发展至今，硬盘一直是阻碍业务性能大幅提升的关键部件。现在有服务器使用SATA SSD固态硬盘来替代传统机械硬盘，虽然业务性能有较明显的提升，但还是无法充分使用系统的CPU、内存等资源。这时，我们就需要一种比SATA SSD盘性能更强大的存储设备来充分使用系统资源，将业务性能再次提升。 近几年在存储业界，各厂商无不打着进军SSD的旗号，因为大家都预测到这个发展趋势的必然性，不甘心落后。然而另一方面，在实际推行过程中却因为以上3个问题没有真正得到解决，而在实际操作过程中举棋不定，似乎事情就这样被定格了…… 从2015年9月起，情况有了转机，SSD再次闯入了人们的视线，华为IT产品线副总裁黄瑾在HCC 2015上对外宣布了一个很有分量的消息——通过在SSD控制器、闪存芯片领域合作创新，华为加速SSD的企业规模化应用，降低闪存在数据中心的应用门槛。 统计显示，从2015年起，HDD的市场开始下滑，到2017年，企业SSD的市场份额将会超越传统SAS盘，全闪存时代正在来临。华为很早就意识到，闪存技术将会改变整个IT市场。华为预计，到2020年，数据中心的所有生产业务将会运行在闪存介质存储上。凭借持续多年在闪存领域的投入，华为致力于让数据中心迈入全闪存时代。 “客户等待SSD时代的真正到来已经太久了，既然历史一定要改变，华为愿意并有决心推动这个历史拐点的更早到来。”华为存储产品线总裁范瑞琦这样说。 破解桎梏，营造SSD供应大动脉 早在2005年，华为就开始闪存技术的研究，11年的沉淀使得华为在SSD领域拥有了深厚的技术积累，在闪存领域获得超过130项核心技术专利，华为的SSD产品在企业级市场已经拥有相当庞大的市场发货量。 在存储数据处理方面，华为提供IO处理加速芯片，为RAID计算、数据校验、ECC纠错等计算密集型业务提供硬件加速处理，提高存储性能。在存储接口方面，华为提供智能软件定义接口的存储前端接口芯片，并且支持存储协议的硬件卸载，加快IO调度速度。此外，为了提升SSD性能，华为提供专有的硬件加速、资源管理、垃圾回收、磨损均衡等处理技术。 2015年9月，华为在业内率先掀起了一股“闪存风暴”，通过在SSD控制器、闪存芯片领域合作创新，以及面向用户应用的软件优化，加速SSD的企业规模化应用，降低闪存在数据中心的应用门槛。拆下HDD，换上SSD，这件事所有存储厂商都能做，华为“闪存风暴”的目的肯定并不仅仅在于此。范瑞琦认为，闪存在企业级应用中的普及，关键要做的是存储资源的池化和重构，它并不像“把大象装进冰箱”那样简单。 那么，SSD的时代即将来临，华为有哪些竞争力呢？范瑞琦表示：“首先，华为拥有自主开发的SSD控制器，并掌握了SSD领域的一些核心专利，具有业界领先的技术优势。在2015年9月19日，我们和闪存颗粒的主流供应商美光签署了闪存战略合作备忘录，在闪存技术应用上获得了美光的大力支持，华为将通信领域的经验和技术利用到闪存领域，使闪存颗粒的使用寿命提升到业界水平的3倍。” 相对于其他存储厂商，华为是唯一同时自研SSD系统、SSD以及SSD控制器芯片的厂商，并且通过与闪存颗粒厂商的密切合作，能够以最优成本持续获得最先进的闪存颗粒。独立核心技术的掌握再加上生产能力的配套，使得华为的SSD具有了更强的性能优势、可靠性和成本优势，一旦消除客户的心理顾虑，SSD的时代将真正全面到来。 谁将成为SSD时代先锋 SSD时代一旦开启，谁将成为第一批受益的群体呢？以数据库应用为例，20TB存储容量配置下，数据库事务处理能力提升9倍，决策分析类场景的业务批处理时间可缩短80%；在VDI（虚拟桌面基础架构）场景下，可多支撑3000个虚拟桌面。并且在满足同等性能需求的前提下，可降低电力和物理空间消耗80%以上，也代表着绿色的IT方向。 时代总是不断前进发展，当一切已经准备就绪，新的机遇摆在你面前，是迎接，还是等待？选择权最终在你手中。本文转自d1net（转载）

   今日，“存储极客”栏目正式上线!在这里，只有一位大咖名叫“存储”，它的粉丝我们称为“存储极客”! 存储极客这是一群存储偏执狂 为存储而生，跟存储死磕各具独家秘笈 有观点，有碰撞，有干货 从今日起做客存储极客栏目 与你分享存储里的那点事儿 本期话题：自动分层存储PK. SSD缓存 有人说Tier和Cache这两种技术，有各自适合的场景，但我更倾向于认为它们解决的是同一类问题。在传统单层磁盘阵列的基础上，添加SSD缓存相对容易实现，而自动分层存储要想把效果做好则是一件不太容易的事情。在本文中，我们将从几个角度全面地比较自动分层存储和SSD缓存，究竟有没有一种相对完美的实现呢? 从目前看，固态混合阵列的出货量仍远超出新兴的全闪存阵列市场。一方面7200转硬盘的单位容量成本，与SSD相比仍有巨大优势，对于想兼顾高IOPS和大容量存储需求的用户，选择带有自动分层存储或者闪存缓存的阵列还是一个不错的选择。 对于传统使用高转速(特别是15K)硬盘的企业存储市场，戴尔等厂商已经开始以硬盘的价格为用户提供全闪存配置。当前全闪存阵列市场还处于发展阶段，MLC(或者企业级MLC)闪存逐渐成为主流，尽管它的性价比更好，但一方面写入性能比SLC相差不少，另外仍有人担心MLC的寿命问题。因此，在SLC和MLC闪存之间的智能分层也不失为一个理想的解决方案。 在混合阵列的优化技术路线上，有些厂商选择支持自动分层存储(Tier)，有些厂商则提供SSD缓存(Cache)功能，还有对两种技术都支持的。我们曾遇到过一些用户不知该如何选择，也遇到过在项目采购招标中指定其中一种，从而使部分产品处于有利地位的。 今天，我们从以下7个维度来比较相关技术，前6项规定满分为5分，由于站在每个特性对整体影响的角度来看，故最低得分设为3。最后一个附加考量项目，允许+2的加分。 1.只读加速?还是读写加速?对于SSD缓存技术而言，大部分只是Read Cache，也就是将热数据的副本放到SSD中，只加速读操作。这样有一个好处，就是不用太担心SSD或者闪存卡故障，最多是性能下降但不会丢数据。当然也有支持SSD写缓存的，这种情况下一定会对闪存盘做RAID保护，因为在数据没有写入硬盘之前，它们在闪存write buffer中是唯一的。开始时，厂商为了减少性能损失选择RAID 1多一些;也有希望容量利用率高的厂商支持了RAID 5。 存储阵列上的SSD读/写缓存，可以理解为DRAM高速缓存的一个大容量补充 闪存与传统机械硬盘的一个明显区别，就是它的读性能比写性能好。如果将有限的SSD容量同时用于缓存加速读和写，有时候效果并不是很好。所以，尽管SSD读写缓存某种程度上类似于自动分层存储，但它们之间的区别还是不小的。 相比之下，在这一点上自动分层存储不怎么纠结，只要是位于SSD高性能分层的数据读写都一样加速。不过我们认为，不同的分层技术对SSD和HDD之间的调度算法还是有许多不同之处。请继续往下看… 本项评分SSD缓存：3.5分一般自动分层存储：5分戴尔Data Progression：5分 注：由于特点突出，在本文中我们将戴尔Data Progression与其它自动分层存储分开对比。 2.只是“傻快”吗?还有数据生命周期管理呢SSD缓存无外乎是两种用法：read cache和write buffer，都是用于加速，而且只区分2种性能等级的存储介质——SSD添加到HDD存储池，对于在硬盘上的数据来说，没有进一步的数据管理功能。 对于自动分层存储技术，有些只能支持2个分层，因为这样的数据迁移规则和算法最简单。当在SSD之外还配置高转速和大容量两种硬盘时，在一个层中混用将无法充分发挥它们的性能。 能够支持3个或以上Tier的自动分层存储一般是中高端产品，戴尔SC(Compellent)阵列的Data Progression便是其中的代表。而且戴尔SC还提供一些独特的功能，可以将快照后的只读数据在同一存储层中由RAID 1转换为RAID 5或6存放，一方面节约了存储空间，同时还能保证读写性能不下降。 注：得益于底层原生块级虚拟化技术，戴尔SC存储支持将新数据永远写入到高速RAID 1中以保证写性能，对已经迁移到RAID 5/6的数据块也不会原地修改。 本项评分SSD缓存：3分一般自动分层存储：4分戴尔SC Data Progression：5分 3.闪存能hold住多大?数据移动精度如何对于SSD缓存技术来说，它的容量不会累加到存储池，也就是说实际可用空间还是HDD RAID的容量。自动分层存储的总可用容量，则是来自多个分层，包括SSD RAID和HDD RAID之和。 SSD Cache只是把数据当做临时空间，最终还是要写进永久存储层的，并不能减少IO，以及优化数据在磁盘上的位置。而自动分层存储是把SSD当做真正数据的家。 也许有人会说这个影响不大，因为SSD缓存容量平均只有存储池的3-5%。因为，SSD缓存管理的元数据，需要占用阵列控制器的内存资源，缓存页面的粒度比较细，例如有的产品是4KB。因此，带有闪存缓存的阵列能够管理的SSD Cache容量上限，通常为数TB级别。 自动分层存储对SSD的容量通常没有限制，有些厂商SSD数量的限制通常是人为的，主要是超过这个数量无法得到应有的性能提升。 自动分层存储可以分为LUN和sub-LUN迁移粒度。其中根据数据访问频率在硬盘和SSD之间迁移整个LUN是早期有的厂商比较初级的做法;目前主流的都是迁移LUN中的数据切片，一般厂商能做到16MB-1GB的水平，而戴尔Data Progression则能达到512KB-4M的迁移粒度。这个粒度影响到对闪存的利用率，而且迁移不必要的数据也会带来额外的I/O。 戴尔SC阵列虚拟页大小有512KB、2MB和4MB三种，即Data Progression自动分层存储的迁移粒度。 下面这项的评分，是结合这一小节的两点给出。 本项评分SSD缓存：3.5分一般自动分层存储：3分戴尔SC Data Progression：4分 4.反应快慢数据迅移一触即发?对于需要高I/O性能的存储访问，我相信每个用户都希望能尽快地被闪存“命中”，这是所有固态混合阵列都要面对的。 对于SSD读缓存，有的算法是数据块读取一定次数(比如3次)之后被复制到闪存中，Cache使用达到一定比例再淘汰其中的不活跃数据，通常对热数据的响应速度还是比较快的;SSD写缓存则是先放到闪存，再根据一定规则后台刷新到磁盘。 自动分层则不同了，有不少产品是将数据先写到低性能分层，按照预定或者设定的周期统计它们的活跃度，再把热数据迁移到SSD高速分层。这样实现比较简单，但是只要是写入的数据块还没有被迁移到SSD，那它的性能就无法提升。 在这种情况下，数据移动的频率就比较重要了。尽管有的产品支持1小时统计周期执行一次，但考虑到白天可能影响到生产存储的性能，还是在每天夜间执行的更多。 对于另外一些自动分层存储技术，则是将数据先写入SSD高速分层以获得最好的性能，再根据某种策略向“下”迁移，比如戴尔Data Progression。读写分离是戴尔SC(Compellent)的关键，默认每天一次执行Replay(快照)数据迁移不加重控制器的负担，并最大程度减少对生产数据访问的影响。 针对这种情况，统计周期和分层操作的频率就显得不太重要了，因为绝大多数应用环境都不会在较短时间内就把SSD分层的容量写满。而且戴尔SC阵列还支持在同一分层内，将快照数据由RAID 1转化为RAID 5/6，在保证读/写性能的同时提高闪存利用率。 本项评分SSD缓存：5分一般自动分层存储：3分戴尔SC Data Progression：4分 5.区别对待最大发挥SLC/MLC/TLC闪存价值如果是同时支持读和写加速的SSD缓存，有的是按比例划分容量;也有少数产品建议用SLC做写缓存/MLC做读缓存的，比如ZFS文件系统。但ZFS的写缓存只是当作小容量日志来使用，更多目的是用来做缓存掉电保护。 绝大多数自动分层存储技术，不会对SLC和MLC闪存做区别对待，所以通常只能使用一种类型的SSD。 而戴尔“闪存优化型”Data Progression分层还有一项“读写分离”技术。有些厂商的全闪存阵列(AFA)只是为了炒作而成的产品线，而戴尔则是真正扎扎实实做闪存优化的厂商，是业界唯一一个做SLC、eMLC分层，现在又第一个把TLC融入到存储介质中。就像我们在前文中介绍的那样，写密集型(SLC)SSD中的数据会定期迁移至读密集型(MLC或TLC)分层，这样SLC专注于写而MLC/TLC专注于读，两种操作都能获得理想的性能，同时提供良好的性价比。 本项评分SSD缓存：3.5分一般自动分层存储：3分戴尔SC Data Progression：5分 6.贴近计算服务器闪存如何打通?至少有几家供应商提供服务器端的SSD缓存类产品。尽管它们中的许多可以搭配SAN阵列使用——而感知不到后端有没有闪存，所以是否在服务器和存储端使用多级闪存是个需要仔细规划的问题。 要问有没有服务器端SSD缓存软件能跟后端阵列协同的?戴尔Fulid Cache for SAN和SC阵列之间就有一个联动机制，当后端创建快照时会触发服务器闪存中的写缓存数据刷新到阵列，以保证与主机端应用的一致性。需要注意的是，下面的评分并没有将Fulid Cache for SAN与其它闪存缓存软件的比较考虑在内，有兴趣的朋友可以参考《性能与ILM的平衡：服务器闪存缓存的思考》一文延伸阅读。 根据戴尔流动数据的理念，底层是无所谓各种存储介质，确保数据可以无缝流动，不论是SLC、 eMLC、TLC闪存，15K、7200RPM硬盘甚至未来的各种介质，底层完全虚拟化包容。上层还可以通过Live Volume、Fluid Cache实现跨越存储，和跨越存储-网络-服务器的数据流动才是戴尔的真谛。 本项评分SSD缓存：3分一般自动分层存储：3分戴尔SC Data Progression：4分 7.智者千虑必有一失?任何的自动化策略总有不适用的时候。比如每月固定1天结算，某个LUN需要最高的性能。这时，主流厂商的自动分层存储大多提供了手动和计划迁移的支持。 相比之下，SSD缓存在这方面就无能为力了，用户基本上无法干预。 加分一般自动分层存储：+2分戴尔SC Data Progression：+2分 综合上述评分，结果如下：SSD缓存：23.5分一般自动分层存储：23分戴尔SC Data Progression：29分 看完本文之后，不知我们比较的是否全面，这样的结果与您心目中是否一致?如果您是一名用户，今后再遇到自动分层存储和SSD缓存的选择时，还会再犹豫吗? 存储极客精彩不断! .第二期：多方位全面保护数据库 .第三期：原生4KB扇区硬盘为何推进缓慢 作者：佚名 来源：51CTO

本节书摘来自华章出版社《大数据管理概论》一书中的第3章，第3.2节，作者 孟小峰，更多章节内容可以访问云栖社区“华章计算机”公众号查看 3.2　大数据存储与管理方法 闪存、PCM等新型存储介质的引入使得大数据存储架构有了多种选择。但由于新型存储介质在价格、寿命等方面与传统的磁盘相比不具优势，因此目前主流的观点是在大数据存储系统中同时使用新型存储介质和传统存储介质，由此产生了多种基于新型存储的大数据存储架构，如基于PCM的主存架构、基于闪存的主存扩展架构、基于多存储介质的分层存储架构等。 3.2.1　基于PCM的主存架构 由于PCM存储密度高、容量大、耗电低，而且访问速度接近内存，因此工业界和学术界都开展了将PCM作为主存系统的研究。与闪存相比，PCM存取延迟更短，而且可以直接按位存取，因此能够被CPU直接存取，更适合作为DRAM的扩展。与DRAM相比，PCM具有非易失性特点，因此适合存储文件等静态数据。在利用PCM替代DRAM方面，目前的研究重点主要集中在利用DRAM减少对PCM的写操作以及负载均衡等项目。对于利用DRAM来减少对PCM写操作的方法，研究者往往借助DRAM缓存来延迟对PCM的写操作从而达到减少PCM写次数的目的［42］。负载均衡思想是通过增加一层地址映射，将PCM的写操作均匀地分配给所有的存储单元，以尽可能地达到PCM的最大使用寿命。在针对大数据存储的集群架构中，负载均衡主要通过适合PCM的数据划分算法实现。PCM作为主存系统的思想对于大数据管理与分析有着重要的意义。虽然大数据应用中涉及的原始数据量非常大，但真正有价值的数据以及应用每次需要存取的数据量仍是有限的，因此我们可以利用PCM的高性能、非易失、按位存取等特性，将应用需要实时存取的高价值数据存储在PCM中，将PCM与DRAM混合形成高性能数据处理系统，同时将大规模的原始数据存储在磁盘和SSD中。因此，将PCM引入目前的存储架构中将有望解决大数据管理与分析中的性能问题。 3.2.2　基于闪存的主存扩展架构 与PCM相比，目前闪存的应用更为广泛。高速大容量SSD设备的不断出现，使得SSD在存储架构中的地位也得以提升。在大数据管理方面，目前SSD的存储容量还达不到大数据的PB级别存储需求，因此近年来主要的工作集中在利用高端SSD进行主存扩展的研究上。普林斯顿大学的研究人员提出了一种利用SSD进行内存扩展的主存管理系统——SSDAlloc。SSDAlloc在存储体系中将SSD提升到一个更高的层次，它把SSD当作一个更大、稍慢的DRAM而不是将它当作磁盘的缓存。为了提高数据库系统的整体性能，研究者以NoSQL数据库系统Redis为基础平台，用SSD代替磁盘作为虚拟内存中的交换设备，扩大虚拟内存的同时帮助NoSQL数据库减少数据读延迟。考虑到当将SSD作为虚拟交换设备时，页面交换的代价依然较大，一种基于DRAM与SSD的混合主存架构被设计出来，其将SSD作为主存，将DRAM作为SSD的高速缓冲，并将这种混合主存结构融入Memcached，大幅提升了Memcached性能。 3.2.3　基于多存储介质的分层存储架构 基于不同存储介质的分层存储架构目前主要集中在DRAM、闪存、磁盘的混合存储上。一种观点是将闪存作为内存与磁盘之间的缓存。例如，FlashCache［43］是Facebook为innoDB设计的块缓存应用，它将闪存划分为一个逻辑集合，基于组相联映射的思想将磁盘上的块数据映射到闪存中。当I/O请求到达时，FlashCache会先在闪存中查找该数据是否已被缓存，如果有则直接进行读操作，否则访问磁盘。将闪存作为DRAM与磁盘之间的缓存进行数据预取［44］或者预写［45,46］，可以充分发挥闪存读性能好的优点，减少对磁盘的写操作，同时减少系统能耗。另一种观点是将闪存与磁盘一样作为二级存储介质，手动或者自动地将不同类别的数据分配到闪存或磁盘上［47］。由于不同的存储分配策略以及存储介质组合方式对于此类系统的性能有着决定性影响。在存储分配方面，已有研究倾向于根据I/O特性和数据的“冷热”程度来进行存储分配，将读倾向负载的数据或者热点数据存放在SSD上，而写倾向负载或非热点数据等则存放在磁盘上。IBM在其企业级存储设备DS8000上增加了EasyTier自动封存存储功能［48］，将较大的逻辑卷进行划分，并对划分后的子卷进行热度检测，如果是热点卷，就将其迁移到SSD上，同时把SSD的非热点卷迁移到磁盘上。此外，面向分层存储的存储分配方法还应用在大数据文件系统的元数据管理上。在面向大数据管理的分布式文件系统中，利用分层系统存储分配的思想进行元数据管理，可以提升元数据存取性能。其基本思路是采用在元数据服务器上使用SSD作为存储设备的方法来加速文件系统。在存储介质用量组合方面，基本思想是将有限的闪存存储资源在复杂的工作负载下进行有效分配，在减少成本的同时满足系统的性能要求。在大数据环境中，存储介质用量组合研究需要考虑复杂的数据负载、系统的可靠性、能耗等多个方面的因素。Google设计了一款基于Colossus文件系统的闪存分配推荐系统——Janus［49］。他们通过实验发现大数据存储中I/O访问主要集中于新建文件，故此系统将新建文件存储在闪存层，然后使用FIFO或者LRU算法将文件迁移到磁盘进行存储，他们还设计了缓存性评估方程、经济性评估方程来评估不同的负载需求，进而进行闪存用量推荐。其实验结果表明，经过Janus的优化，闪存层存储了1%的数据，服务了28%的读操作，显著提高了系统的读性能。由于目前闪存、PCM等新型存储介质与DRAM、磁盘等传统存储介质处于共存的局面，预计在较长的时间内新型存储介质将与传统介质同时出现在存储系统中。尤其对于大数据存储环境，其数据的使用频率、规模等都不允许将所有数据都统一存储在集中式的存储设备上，因此基于分层存储的多介质混合存储技术将越来越受到研究者们的重视。但由于多种存储介质的分层存储存在着多种组合方式，哪种混合存储策略适合大数据应用、在多介质混合存储系统中如何有效地实现数据分配与迁移等仍有待进一步探索。 3.2.4　分布式存储与缓存架构 目前，基于分布式观点的数据管理是大数据存储与管理研究中的一个热点。一种观点是将闪存应用于分布式文件系统中进行元数据存储。元数据对于整个大数据管理系统的性能起着决定性作用，对于大数据解析、大数据统计、大数据操作优化等有着重要作用。基于闪存的分布式文件系统元数据管理的基本思路是在元数据服务器上使用SSD作为存储设备来加速文件系统。例如，在Lustre分布式文件系统架构中的元数据服务器（Metadata Server，MDS）上使用闪存作为存储介质，加速元数据的读写速度［50］。此外，基于Memcached的内存分布式缓存技术也被广泛用来加速大规模数据的访问，而在更为复杂的大数据环境下，其局限性主要体现在：一方面内存分布式缓存受限于集群内存容量，只能服务容量较小的热点数据，会造成性能下降；另一方面，如果采取扩大集群内存容量来满足更多数据缓存需求的话，会带来高额的成本和巨大的能耗。现阶段解决方法是将小容量、高I/O负载的缓存处理与大容量、中低等I/O负载的缓存处理分离，形成“热缓存”与“冷缓存”的缓存策略，其中在“冷缓存”方面主要采用了闪存技术。例如，Facebook设计了基于闪存的McDipper键-值存储系统［51］，代替Memcached为大量访问频率较低的图片提供缓存服务，降低成本和能耗，为了减少闪存I/O延迟，将闪存层分成两个区域，一个区域存放数据，另一个区域配置了“散列桶”存放键值数据的指针，并将“散列桶”元数据放入了内存。