RAID2.0核心思想:数据保护与物理资源管理域分离

简介:

记得在2013年末的时候,开始将存储虚拟化为主导的数据保护技术归纳为RAID2.0。从市场的角度来看,这个一个非常好的概念,一方面可以延续传统RAID的思想,大家可以很容易明白这是一种数据保护技术;另一方面又表述了这是一种传统RAID的技术延伸,而且具有更新换代的意思。在技术发展的过程中,HP称这种技术为virtual RAIDNetApp称之为DDPDynamic Disk Pool)。本质上的思想是相同的,都是通过底层虚拟化的方式使得RAID构建的灵活性大为增加,并且在数据恢复的时候能够做到全员参与,提高数据恢复的性能。

 

通过RAID2.0的技术方式的确可以使得数据重构的性能随着磁盘数量的增加而线性提升。传统RAID由于结构僵化,数据重构的性能局限在单盘性能,在一个磁盘组中,无论磁盘数量多少,数据重构的性能最高为单盘吞吐带宽。在采用RAID2.0技术之后,数据重构不再是单盘参与,而会涉及到存储池中的所有磁盘,因此,磁盘数量越多,数据重构性能越高,数据恢复的时间窗口越短,从而数据可靠性越高。下图是一套RAID2.0系统在2013年的实测结果,从该结果可以看出,RAID2.0数据重构性能和RAID相比存在天壤之别。但是在JBOD数量为2时,可以发现RAID2.0性能还比传统RAID低了。这主要是因为磁盘本身抖动造成的结果。采用这种RAID2.0之后,数据在磁盘上存储的IO Pattern发生了变化,这也是RAID2.0技术不能在小规模磁盘存储中大量使用的一个重要原因。


wKiom1g5rHywIjiyAAB1a5-TerE871.jpg


在海量存储系统中RAID2.0已经开始大规模部署,在闪存存储系统中同样可以采用这种数据保护技术。并且对于闪存存储,RAID2.0具有天然优势,其最主要原因在于SSD不存在随机写性能急剧下降的问题。和磁盘相比,NVMe SSD的故障模型存在较大差异,如果采用传统RAID架构实现数据保护,那么无法很好解决SSD的新问题,例如SSD同时失效问题,并且很难适应大容量存储盘的发展趋势。

 

为此,RAID2.0思想可以被应用于闪存数据保护中。仔细分析,归纳起来RAID2.0的核心思想是“数据保护域与物理资源管理域分离”。这种分离与解耦可以为数据保护提供更大的灵活性,从而可以更好的为数据实现数据保护,并且可以很容易的实现本地或者远程的数据保护。传统存储软件架构与RAID2.0软件架构对比如下图所示:


wKioL1g5rH3CVx_xAADm9SIWuiQ289.jpg


RAID2.0中,通过资源池化的手段对物理资源进行管理。存储资源池本身不具备数据保护的能力,该资源池被称之为“物理资源管理域”。在存储池之上是存储对象层,每个存储对象被称之为ContainerContainerCHUNK构成,每个Container是一个数据保护单位。因此,存储对象层也被称之为“数据保护域”。由于Container是一个逻辑对象,与具体存储盘无关,因此,RAID2.0可以很灵活的在存储池之上实现多种不同方式的数据保护。与传统RAID相比,RAID2.0数据保护不再依赖于物理盘,通过虚拟化的方式将物理资源与数据保护进行了彻底的分离。

 

类似于RAID2.0这种数据保护技术核心的思想在于将数据保护域从物理资源管理域中分离、独立。一方面解决了传统RAID的数据重构问题,大大提高数据可靠性;另一方面也为数据保护走向分布式打下坚实的基础。在闪存大行其道的今天,RAID2.0技术与闪存结合,可以很好的解决闪存存储自身的问题,发挥闪存优势,为SSD的数据可靠性保驾护航。



本文转自 wuzhongjie 51CTO博客,原文链接:http://blog.51cto.com/alanwu/1876942,如需转载请自行联系原作者

相关文章
|
监控 Java 调度
分布式系列教程(17) - 分布式任务调度平台XXL-JOB
分布式系列教程(17) - 分布式任务调度平台XXL-JOB
604 0
|
4月前
|
存储 数据采集 NoSQL
什么是数据仓库?数据库与数据仓库有什么关系?
数据仓库与数据库有何区别?数据仓库主要用于存储历史数据,支持企业分析决策;而数据库则负责管理实时业务数据,保障日常运作。两者在数据来源、处理方式、存储结构等方面差异显著,但又相辅相成,共同助力企业高效管理数据、提升运营与决策能力。
|
人工智能 算法
52个AIGC视频生成算法模型介绍(中)
52个AIGC视频生成算法模型介绍(中)
560 4
|
9月前
|
人工智能 数据可视化 数据处理
低代码:如何实现高效开发的技术解读
低代码开发平台正重塑软件开发流程,通过可视化界面和拖拽式组件设计,使开发变得简单高效。它不仅降低了开发门槛,让初学者也能轻松创建复杂应用,还显著提升了团队协作效率和应用质量。核心引擎的优化升级进一步增强了开发灵活性与性能,支持SQL智能优化、模块化扩展、实时渲染等特性。模型驱动开发和自动化代码生成技术确保了应用的一致性和规范性,满足复杂业务需求。此外,AI融合、插件生态及开放架构为开发者提供了强大的技术支持和丰富的功能选择,推动企业实现高效的数字化转型。低代码开发正在引领一个更加高效、创新和包容的未来。
|
传感器 数据采集 机器学习/深度学习
AI战略丨从探索到突破,全面解读智实融合关键技术
关键技术的发展水平直接决定了智实融合的深度与广度,是其应用进一步拓展的关键因素。
|
存储 固态存储 Java
浅析企业级SSD Multi-Stream Write技术
Multi-stream write(多流写)技术可以使SSD根据主机端提供的Stream ID,将具有相同或相似生命周期的数据写入到相同的擦除单元中去,大大提高了GC时的效率,减少了写放大,使得SSD的性能和寿命都有了较大的提升。
|
安全 关系型数据库 Linux
什么叫网站国产化改造?哪些CMS符合国产化标准?
国产化需求在未来的互联网话题上是只会越来越多、越来越重要的,这个国产化改造不单单针对网站项目上,还会逐步涉及到各大软件和系统上,所以,相关的单位提前了解国产化的改造标准和需求,到传达的时候、不会显得出手无策。
748 5
|
存储 JSON 自然语言处理
大模型服务平台百炼之模型训练与调优实践分享|快来围观~
模型调优是通过Fine-tuning训练模式提高模型效果的功能模块,作为重要的大模型效果优化方式,用户可以通过构建符合业务场景任务的训练集,调整参数训练模型,训练模型学习业务数据和业务逻辑,最终提高在业务场景中的模型效果。
3083 9
|
存储 算法 安全
使用MD5当做文件的唯一标识,这样安全么?
MD5常用于文件完整性验证。通过对文件进行MD5哈希计算,可以生成唯一的哈希值,用于识别文件的内容是否发生改变。这在文件传输和数据备份中特别有用。 MD5也经常被用于密码存储,将用户密码经过MD5哈希后存储,而不是直接保存明文密码,以增加安全性。
3327 0
使用MD5当做文件的唯一标识,这样安全么?
|
存储 固态存储 Java
multi-stream SSD 介绍
# NVMe Multi-stream ## 1. 原理介绍 ### 1.1. flash 写操作 在介绍 multi-stream 之前,首先简单介绍一下 flash 写操作的特性。 - SSD 中写操作(write)的单元为 page,page 的大小通常为 2 ~ 64 KB - NAND flash 在对 page 写操作之前,必须对 page 执行擦除操作(er
9459 0

热门文章

最新文章