细数自动分层存储产品(FAST)

简介:

 继3PAR、Compellent、BlueArc等先驱厂商后,EMC、IBM与HDS等存储大厂,也在这两年也纷纷跟进推出了自身的自动分层存储技术,再加上过去半年多来的厂商并购行动,目前这领域的厂商已有相当大的变化。

Dell Compellent

  自动分层存储技术先驱厂商Compellent已在2010年底为Dell并购,Compellent的Storage Center系列存储设备与Data Progression自动分层存储技术,也都被纳入Dell旗下。尽管Compellent的Data Progression技术推出至今已超过5年,不过在同类技术中仍居领先地位,拥有最精细的分层精细度与独特功能,也相对较为成熟。

  Data Progression是Compellent存储设备核心Storage Center硬件中的一个功能,Storage Center硬件会将磁盘阵列控制器所管理的硬盘,自动依效能区分为三个层级。磁盘底层则会透过动态区块(Dynamic Block)技术,以4,096个512K区块组成的2MB Page Pool为基本存储单位,来组成不同层级的RAID与Volume。

  Data Progression可利用底层的动态区块技术,透过metadata来记录每个动态区块的建立/存取/修改时间、存取频率,以及所处的RAID与硬盘层级等信息。使用者建立Volume时,可选择该Volume所将使用的RAID与磁盘层级。若选择让Volume同时使用跨不同能效层级的实体硬盘容量,接下来系统将会定期检视每个区块的存取频率,并视存取频率自动将区块搬移到适当的硬盘层级,借此改善磁盘硬件的使用效率。

   使用者可按自身环境,选择以最小的512KB区块为追踪统计与分层迁移单位,也可调整为以较大的2MB或4MB区块为单位(预设值为2MB)。系统执行数据分层迁移操作的周期为24小时,预设的执行时间为晚上7点,操作起始时间与执行窗口(允许迁移操作执行多久时间)可按用户需求调整,但周期不可调整(固定为每24小时1次)。

   特别的是,Data Progression不仅能在不同层级磁盘间进行“纵向”数据自动分层,还能在同一层级磁盘间进行“横向”的数据自动分层,如在同样的1.5万转FC硬盘层中,可将存取频率较低的数据从写入速度较快、但单位成本较高的RAID 10组态磁盘区,迁移到写入速度较慢、但单位成本较低的RAID 5上。

    更特别的是Data Progression还能利用所谓Fast Track功能,对单一硬盘执行存取最优化--可将较常存取的数据自动迁移到硬盘最外轨上,借以减少搜寻时间。

   换言之,Compellent的Data Progression自动分层存储技术,同时涵盖了不同存储设备层、单一存储设备层与单一硬盘等三个层次。

EMC

自2009年以来,EMC已先后推出两代全自动存储分层(Fully Automated Storage Tiering,FAST)技术。

第1代的FAST适用于EMC的CLARiiON、Symmetrix等存储产品系列,不同产品线的FAST功能在设定与执行的细节上略有差异,但基本运作方式是一致的。

  以Symmetrix FAST为例,先将不同层级的磁盘装置(SSD、1.5万转硬盘、7,200转硬盘等)共同组成磁盘群组,然后分别设定各层级磁盘装置在每个存储群组中所占的比例上限,以及让FAST执行初始化采样(统计系统存取行为)的时间排程、允许执行数据迁移的时间排程等参数后,接下来当到达管理者设定的时间时,FAST即会自动启动、进行存取行为采样分析与数据迁移操作。

  不过FAST 以整个LUN为自动迁移的单位,精细度显然过于粗略,能达到的分层最优化效果有限,执行迁移所耗费的资源也相当大,技术落后其他厂商有相当距离,目前已被第2代FAST取代。

第2代FAST称为FAST VP(VP为Virtual Pool的缩写),EMC宣称FAST VP采用「Sub-LUN」层级的自动迁移技术,即数据的精细度优于LUN,可搭配Symmetrix VMAX与新推出的VNX整合存储产品。

Symmetrix VMAX与VNX的FAST VP采用的精细度有所不同。

Symmetrix FAST VP运作的基本单位是768KB的虚拟池扩展区块(VP extent),一个FAST VP区块包含480个VP区块,约360MB大小。每个FAST VP区块还可进一步分解成48个FAST VP子区块,约7.6MB大小。

Symmetrix FAST VP可视情况使用360MB的FAST VP区块或7.6MB的子区块。相较下,VNX的FAST VP则固定使用1GB大小的区块来管理数据迁移。

FAST VP可提供不同的分层政策,以VNX的FAST VP为例便分为4种:

(1) 自动分层(Auto Tier):预设政策,将数据分散存放到横跨所有层级磁盘的存储池上,后续再依追踪到的数据活跃程度,在不同层级磁盘间自动迁移。

(2) 优先最高分层(Highest available tier):尽可能将数据放到高速层磁盘,以提高效能。

(3) 优先最低分层(Lowest available tier):尽可能将数据放到低速层磁盘,以减少成本。

(4) 无数据迁移(No Data Movement):执行了最初分层设定后,便不再进行数据迁移。

Symmetrix VMAX与VNX的FAST VP运作程序稍有不同。

VNX的FAST VP分为3个阶段:

  (1)统计收集:在背景持续纪录收集每个区块的存取频率等metadata;

  (2)分析:每隔1小时便自动为LUN内的数据区块进行存取活跃程度的排序;

  (3)重新配置:依照分析结果重新配置每个区块的存放位置,可透过排程介面设定自动执行重新配置操作的时间窗口,最密集可设定每天重新配置一次。为避免重新配置的数据迁移动作耗用太多I/O资源,还可设定每次操作允许搬移的数据量。除自动排程外,使用者也能以手动方式随时启动重新配置操作。

Symmetrix VMAX的FAST VP则只分为2个阶段:

  (1)统计收集与工作负载分析:利用排程自动启动,可透过排程介面设定允许执行统计与分析操作的时间窗口,允许最密集的排程是以日为单位,可选择允许系统24小时全天都在背景执行统计分析,或只在特定时间区段执行统计分析;

   (2)数据搬移:利用排程自动启动,可选择允许系统24小时都能执行分层搬移操作,以尽快反映存储热点的变化,或只允许在特定时间区段执行排程,以降低对I/O的冲击。Symmetrix VMAX的FAST VP不提供手动执行模式,只能透过排程启动。

EMC的白皮书数据并未明示VMAX的FAST VP允许的最短数据搬移周期为何,按某些Blog的说法,VMAX的FAST VP最短可每10分钟更新一次各区块的存取负载状态,数据搬移操作则会等待2次存取负载状态更新循环,所以最快可在2次存取负载状态更新后便执行数据搬移,换言之,理论上可允许每30分钟就重新分派一次各区块存放位置。

相对的,其他技术大多只允许每24小时执行一次重新分层迁移操作,借由这种特性,VMAX的FAST VP可更快的反映存取状态变化。

先前EMC还曾有一款针对档案层级存取环境提供自动分层存储的产品Celerra FAST,实际上就是EMC File Management Appliance--1种独立安装部署的自动化归档/迁移应用硬件-的另一种包装,不过随着新一代VNX整合存储产品系列的推出,Celerra FAST也被VNX上的FAST VP取代,只剩下作为独立产品的EMC File Management Appliance,不再冠以Celerra FAST这种容易造成混淆的称呼。

 





本文转自 taojin1240 51CTO博客,原文链接:http://blog.51cto.com/taotao1240/682719,如需转载请自行联系原作者
目录
相关文章
|
存储 固态存储 索引
搜索和推荐统一存储层的新进展和思考
我们在2017年统一了搜索和推荐场景下的HA3、iGraph、RTP和DII四大引擎的存储层(参见统一之战),帮助它们取得了的更迅速的迁移能力、更快速的数据恢复能力和更丰富的数据召回能力。 最近一年来,我们在统一的存储框架上又做了进一步的演进,下面将分别从架构、Build服务以及存储模型角度介绍我们的新进展和思考。   1.架构   在我们的传统架构(参见统一之战)中,
2703 0
|
负载均衡 监控 安全
网关系统就该这么设计,万能通用,稳的一批!
网关系统就该这么设计,万能通用,稳的一批!
|
负载均衡 监控 安全
网关系统就该这么设计(万能通用),稳的一批!
网关系统就该这么设计(万能通用),稳的一批!
|
边缘计算 缓存 运维
OpenYurt v1.2 新版本深度解读(一): 聚焦边云网络优化
云原生边缘计算智能开源平台 CNCF OpenYurt 于近期发布了 v1.2 版本。OpenYurt 是业界首个对云原生体系无侵入智能边缘计算平台,具备全方位的“云、边、端一体化”能力,能够快速实现海量边缘计算业务和异构算力的高效交付、运维及管理。
OpenYurt v1.2 新版本深度解读(一): 聚焦边云网络优化
产品设计-服务拓扑关系-apm-基础设施-paas-产品设计-调用关系-性能
产品设计-服务拓扑关系-apm-基础设施-paas-产品设计-调用关系-性能
71 0
产品设计-服务拓扑关系-apm-基础设施-paas-产品设计-调用关系-性能
|
JavaScript 前端开发
深度解析:Free自由协议增发逻辑技术开发详细丨Free模式系统开发项目方案讲解
深度解析:Free自由协议增发逻辑技术开发详细丨Free模式系统开发项目方案讲解
205 0
|
存储 NoSQL 架构师
架构视角-文件的通用存储原理
架构师是互联网行业高薪又紧俏的资源。成为架构师最基本的是设计能力。设计与设计的区别主要体现在两方面: 1,深度:要解决哪些问题?这个问题背后的根本问题是什么?还有什么问题没有发现?对应的能力是发现和解决问题的能力。 2,体系:要解决的问题的属于哪一类的问题?这类问题能否进一步抽象,让系统解决更大的问题?对应的抽象归纳和体系化思维的能力。
架构视角-文件的通用存储原理
|
存储 消息中间件 SQL
云原生景观:应用程序定义和开发层解决了什么问题?如何解决的?
云原生景观:应用程序定义和开发层解决了什么问题?如何解决的?
117 0
云原生景观:应用程序定义和开发层解决了什么问题?如何解决的?
|
SQL NoSQL 安全
蚂蚁图计算正式升级为TuGraph,查询效率提升10倍!兼容性更强
蚂蚁集团“大规模图计算系统GeaGraph”正式升级为TuGraph ,并完成了产品3.0版本的迭代。迭代后的版本查询效率提升10倍,兼容性更强。
632 0
蚂蚁图计算正式升级为TuGraph,查询效率提升10倍!兼容性更强
|
存储 缓存 负载均衡
架构数据缓存阶段和两个维度拓展阶段——阿里云 MVP乔锐杰
乔锐杰,上海驻云运维总监,江湖人称“乔帮主”。本文是乔帮主在阿里云的直播中分享《阿里云千万级架构的构建——架构的成长演变之路》的第四部分。
1106 0
架构数据缓存阶段和两个维度拓展阶段——阿里云 MVP乔锐杰