EMC公司进行SAN拆分 旨在解决更为细化的存储需求

简介:

戴尔-EMC公司正在着手打造一套2 TIERS软件抽象层,旨在借此解决闪存之上一级存储数据与对象阵列中大规模之间愈发严重的分裂问题。

EMC公司进行SAN拆分 旨在解决更为细化的存储需求

其起步解决方案是将SAN磁盘或者混合型闪存/磁盘阵列进一步拆分为多台阵列,这主要是考虑到一级数据速度需求不断提升、而二级数据存储容量快速增长的现实压力。

根据戴尔-EMC公司的设计规划,其中一台阵列专门负责实现一级数据闪存存储,并被定名为热边缘或者快速层。

另一台阵列则面向存证地磁盘之上且经由对象存储系统进行言说听二级(近线)数据,其可以内部或者外部形式存在且数据访问速度更慢,但每GB资源使用成本则远低于热边缘存储。

戴尔-EMC公司将此称为冷核心或者容量层,其同时亦在着手打造一款2 TIERS抽象层用以实现这一目标。以下为戴尔-EMC方面公布的一份演示文稿:

EMC公司进行SAN拆分 旨在解决更为细化的存储需求
我们对于演示文稿中提到出的第三点并不认同,因为内部文件或者块访问高容量磁盘并非被云存储所替代,而是被可进行内部或外部(云端)部署的对象访问型高容量磁盘所替代。

EMC方面认为,热边缘方案的存储容量区间应该是在数百TB级别,而容量层的容量水平则要高得多; 预计可能达到数百PB。

将有一个统一的抽象层掌控元数据,用于指示数据条目位于哪个层以及层中的哪个具体位置。各数据条目随后会被分配单一全局命名空间,此空间可容纳数万亿个对象。此层中的代码亦会将数据根据需求在不同层间移动,具体依据一套策略驱动型自动化数据放置(分层)方法。

EMC方面认为,利用其它方案以逻辑方式将两层加以统一会耗尽位于热边缘的元数据空间,进而引发额外元数据被放置在容量层内,最终导致访问速度缓慢。而解决这一难题的作法并非增加快速层内的元数据存储空间,而是对元数据进行缓存。

要实现这样的效果,其设想访问快速层的一组客户端服务器会利用RDMA访问向一台共享式DSSD阵列发送请求,或者利用ScaleIO访问一台虚拟闪存SAN以整合各本地直接附加闪存驱动器。

EMC公司进行SAN拆分 旨在解决更为细化的存储需求
直接整合或者网络附加型快速层存储原理图。

在此之后是一个基于对象存储的容量层,其可以由一台Isilon阵列或者一台ECS向外扩展商用设备集群充当。这两种层皆可分别实现扩展或者收缩。

需要注意的是,这套缩减闪存快速层容量的整体模式在一定程度上类似于昆腾公司的StorNext产品,其专门面向娱乐与媒体工作流市场。

每台服务器都会访问2 TIERS软件,后者通过一个POSIX API与单一命名空间为服务器应用提供SAN,同时亦利用策略驱动型分层机制将陈旧或者不必要的数据发送至容量层。其会将指向数据的应用访问映射至容量层中的对应对象。

这款EMC软件利用一套分布式Orange文件系统配合运行于本地FUSE文件系统之上的一项只读、通读型翻译服务,从而建立起快速层。这项服务采用动态负载命名空间(简称DLN)以实现元数据分层。DLN指向的是全局命名空间中的一部分,例如文件系统中的子树。在此部分中包含指向对象的指针,例如文件系统目录中的inode。

我们尚不清楚DLN如何实现加载或者预读取。

利用这套2 TIERS模式,EMC公司推荐了两种实例化思路,即利用DSSD快速层配合Isilon或者ECS容量层:

EMC公司进行SAN拆分 旨在解决更为细化的存储需求
戴尔-EMC 2 TIERS示例

另一种备选方案是利用Omnibond的CloudyCluster——专门负责将OrangeFS部署在AWS当中——托管整套体系。

总体来讲,这是一套面向后SAN/后NAS阵列内部或者公有云世界的解决方案。其SAN/文件系统被拆分为两大类,且在逻辑层面利用2 TIERS软件实现这种SAN拆分。

评论观点

这种富有想象力的存储方案正是我们期待从EMC身上所看到的,而且目前尚无其它主流竞争对手拥有与之等同的解决方案。事实上,惟一能够在创新层面与之相匹敌的只有HPE的服务器事业部,其开发出了Synergy方案。

如果戴尔将EMC的这一发明应用至服务器,那么HPE无疑需要保持警惕。同样的,如果HPE方面将其Synergy纳入自家存储产品,则戴尔-EMC亦将面临严酷的竞争压力。

顺带一提,戴尔-EMC方面已经注册了2 TIERS商标。


原文发布时间为:2016年11月20日

本文作者:刘新萍

本文来自云栖社区合作伙伴至顶网,了解相关信息可以关注至顶网。

相关文章
|
JavaScript IDE 前端开发
【HarmonyOS 4.0 应用开发实战】TypeScript 快速入门之环境配置
【HarmonyOS 4.0 应用开发实战】TypeScript 快速入门之环境配置
684 0
|
API
在vite.config.js 配置代理
在vite.config.js 配置代理
2099 2
|
7月前
|
存储 弹性计算 缓存
2026年阿里云服务器2核8G、4核16G、8核32G配置价格:最新活动价格与最低价格参考
阿里云服务器2核8G、4核16G、8核32G配置以精准的性能平衡与灵活计费模式,成为企业与个人用户的优选方案。目前2核8G低至701.40元/年,适配中小型网站、开发测试等轻量场景;4核16G支持按月89元或按3个月210元购买,满足电商平台、数据库等中等负载需求;8核32G按月160元起,适配高性能计算、大数据分析等高负载场景。
662 2
|
4月前
|
存储 人工智能 安全
OpenAI 悄悄重写 Agents SDK:生产级 Agent 底座来了,LangChain 们还怎么活?
OpenAI重磅发布全新Agents SDK:解耦“大脑”与“手脚”,内置harness控制流、多厂商沙盒、Manifest配置、快照恢复等生产级能力。900页保单100%提取、半数PR由Agent生成,LangChain时代正加速终结。
|
7月前
|
机器学习/深度学习 人工智能 搜索推荐
用户画像系统技术实现原理深度解析
本文摒弃空泛AI术语,聚焦用户画像系统落地实践,详解“图像采集→基础识别→特征提取→数据关联”全链路。复用现有视觉分析能力,通过设备兼容、模型优化、数据绑定等手段,实现低成本、高精度、结构化画像生成,助力技术从业者快速掌握真实可用的视觉智能应用方案。
528 1
|
8月前
|
存储 机器学习/深度学习 编解码
预训练技巧
预训练是大模型能力的核心,涵盖混合精度、分布式训练等关键技术。混合精度通过FP16/BF16加速计算并节省显存;分布式训练采用数据、模型、流水线并行提升效率,结合All-Reduce等通信策略实现高效同步;DeepSpeed的ZeRO技术分区优化器状态、梯度与参数,显著降低显存占用;FlashAttention优化注意力机制,提升速度与内存效率;学习率策略如warmup与余弦退火助力稳定收敛。
545 0
|
XML JSON Java
Logback 与 log4j2 性能对比:谁才是日志框架的性能王者?
【10月更文挑战第5天】在Java开发中,日志框架是不可或缺的工具,它们帮助我们记录系统运行时的信息、警告和错误,对于开发人员来说至关重要。在众多日志框架中,Logback和log4j2以其卓越的性能和丰富的功能脱颖而出,成为开发者们的首选。本文将深入探讨Logback与log4j2在性能方面的对比,通过详细的分析和实例,帮助大家理解两者之间的性能差异,以便在实际项目中做出更明智的选择。
1771 3
|
Web App开发 网络协议 应用服务中间件
HTTP2.0 从原理到实践,保证把你治得服服帖帖!
HTTP/2 是 HTTP/1.1 的重要升级,通过多路复用、头部压缩、服务器推送等特性显著提升性能与效率。本文详细解析了 HTTP/2 的优势、配置方法及实际应用,涵盖 Nginx/Apache/IIS 配置、curl 测试工具使用,并对比 HTTP/1.1 指出其优化点。同时提醒需注意 HTTPS 支持、客户端兼容性等问题,助你高效掌握并运用 HTTP/2 技术。
1244 5
HTTP2.0 从原理到实践,保证把你治得服服帖帖!
|
JavaScript 中间件 关系型数据库
构建高效的后端服务:Node.js 与 Express 的实践指南
在后端开发领域,Node.js 与 Express 的组合因其轻量级和高效性而广受欢迎。本文将深入探讨如何利用这一组合构建高性能的后端服务。我们将从 Node.js 的事件驱动和非阻塞 I/O 模型出发,解释其如何优化网络请求处理。接着,通过 Express 框架的简洁 API,展示如何快速搭建 RESTful API。文章还将涉及中间件的使用,以及如何结合 MySQL 数据库进行数据操作。最后,我们将讨论性能优化技巧,包括异步编程模式和缓存策略,以确保服务的稳定性和扩展性。
|
存储 缓存 JavaScript
RxJS 是前端开发的未来吗?
RxJS 是前端开发的未来吗?
492 0