联想超融合存储:面向对象的分布式存储系统

简介:
  
   联想超融合存储系统是一款自主研发,面向对象的分布式存储系统。通过将所有硬盘池化管理,大幅度的提高并发I/O;采用虚拟存储控制器,更加灵活智能的管理;利用无单点原则,水平扩展的分布式架构,构建了一个高性能、易扩展、高可靠的超融合存储系统。

分层持久存储

超融合是指在同一套单元设备(x86服务器)中不仅仅具备计算、网络、存储和服务器虚拟化等资源和技术,而且还包括云管理软件,数据重构,多副本,快照技术等元素,而多节点可以通过网络聚合起来,实现模块化的无缝横向扩展,形成统一的资源池。与传统存储方案相比,超融合存储弥补了传统存储横向扩展能力不足的问题。

众所周知,相较于传统的机械硬盘,SSD 具有很好的弹性,并提供对数据的快速访问,但其拥有写入次数限制。结合两者的优缺点,联想超融合存储系统采取SSD+HDD的混合存储方式,将所有物理服务器上的硬盘组成一个存储资源池。其中所有机械硬盘组成存储容量层,SSD闪存盘组成存储性能层,两者一起构建了分层持久存储。(TPC:Tiered Persistence Store)

联想超融合存储把混合存储成本效益最大化,最大限度地提高性能。LHS从数据中分离出元数据,为实际的数据提供关键信息,并将元数据存储在高性能设备中(SSD),这种方式大大加速了元数据的读取和写入操作。

SSD存储了一些关键的组件,包括:LHS Home(VSC虚拟存储控制器核心)、Metadata(元数据)、OpLog(写缓存)、Cache(缓存)和Persistence Store(持久存储)。下图展示了SSD的存储分解:

HDD只作用于持久存储,分解更简单:

数据分片存储

联想超融合系统利用分片机制来解决单个服务器不能满足的大量数据存储和大吞吐量的系统读写等问题。分片是一种水平扩展方式,把一个大的数据集分散到多个服务器上,所有的服务器将组成一个逻辑上的数据库来存储这个大的数据集。分片对用户是透明的。

数据从虚拟机的文件系统写入物理存储设备时,分片机制会涉及到如下概念:block、object。block 是一块磁盘当中最小的单位,其大小取决于不同的操作系统。一个object由n个连续的block组成,并被保存在磁盘上。

下图展示了文件写入物理存储设备时各部分的组成关系:

如上图,虚拟机上的文件系统写入物理存储设备时,文件被磁盘的最小单位block所划分,n个连续的block又组成一个object,并直接存入磁盘。

数据多副本机制

联想超融合存储使用复制因子(RF:Replication Factor)来保证当节点或硬盘失效时,数据的冗余度和可用性。当数据写入本地TPS时,数据被同步复制到另1个或者2个节点(取决于RF设置),当这个操作完成后,此处写操作才被确认(Ack),以此来保证数据至少存在于2个或3个独立的节点上,保证数据的冗余度。

多副本机制

在同一集群中可以为不同的工作负载配置不同的容错等级(RF1/2/3…)。当RF=1时,表示系统中仅有1个副本,则系统不能承受任何节点或硬盘故障;当RF=2时,表示系统中有2个副本,即系统可以承受一个节点或硬盘故障;同理,RF=n时,表示系统中有n个副本,即系统可以承受n-1个节点或硬盘故障。

联想超融合存储具有硬盘/节点/机柜的感知能力,以此来保证最大的可用域,尽可能的把多个副本分散到多个硬盘/节点/机柜,提供硬盘级、节点级、机柜级的高可用。一般来说,随着集群规模的增长,具有多个机架时,才会提升到机柜感知,尽可能的把副本分散到多个机柜。

联想超融合存储还具有系统自我修复能力,无需运维人员介入。当发生节点或硬盘失效时,且RF>1时,可用数据块会重新在所有节点间进行复制,以满足RF的设置。

关于联想超融合

联想超融合,是利用分布式存储和计算虚拟化技术整合服务器集群、对外提供计算、存储和网络等资源的IT基础架构。联想超融合简化客户的IT基础设施建设、降低硬件配置和管理成本以及基础设施交付成本,同时改善系统平台的可靠性,提供水平扩展的能力,帮助客户大幅度降低各种规模数据中心的复杂性。联想超融合在虚拟化和分布式存储领域有超过十年的技术储备,积累了全球70多项国际技术专利。

联想作为中国超融合联盟的发起者和第一届理事长单位,将致力于推进超融合市场的发展和成熟,引领互联网时代IT架构的革新。目前,联想超融合在医疗、政府、教育、企业中有着广泛的应用,未来,联想超融合解决方案将继续凭借持续的技术创新和深入的行业洞察,为合作伙伴和客户提供更优质、更有针对性的全新IT体验。

  
  作者:zl
来源:51CTO
目录
相关文章
|
29天前
|
存储 监控 容灾
TiDB存储层深入:分布式存储架构与数据一致性保障
【2月更文挑战第26天】本文将深入探讨TiDB的存储层,详细解析其分布式存储架构、数据复制机制以及数据一致性保障措施。通过了解存储层的核心组件和工作原理,我们可以更好地理解TiDB如何确保数据的可靠性、高可用性和可扩展性。本文将从存储层的架构、数据分布、容错机制等方面展开介绍,帮助读者全面掌握TiDB存储层的关键技术和优势。
|
1月前
|
消息中间件 存储 NoSQL
【Redis项目实战】使用Springcloud整合Redis分布式锁+RabbitMQ技术实现高并发预约管理处理系统
【Redis项目实战】使用Springcloud整合Redis分布式锁+RabbitMQ技术实现高并发预约管理处理系统
|
1月前
|
存储 Web App开发 运维
原来10张图就可以搞懂分布式链路追踪系统原理
原来10张图就可以搞懂分布式链路追踪系统原理
|
1月前
|
算法 Java 数据中心
分布式ID生成系统之雪花算法详解
在当今的云计算和微服务架构盛行的时代,分布式系统已成为软件开发的重要组成部分。随着系统规模的扩大和业务的复杂化,对数据一致性和唯一性的要求也越来越高,尤其是在全局唯一标识符(ID)的生成上。因此,分布式ID生成系统应运而生,成为保证数据唯一性和提高系统可扩展性的关键技术之一。雪花算法(Snowflake)是Twitter开源的一种算法,用于生成64位的全局唯一ID,非常适用于分布式系统中生成唯一标识符。下面我们将深入探讨雪花算法的原理、结构和实现方式。
92 2
 分布式ID生成系统之雪花算法详解
|
2月前
|
存储 缓存 固态存储
云计算基础-存储虚拟化(深信服aSAN分布式存储)
每秒钟的IOPS数,该指标主要用于评价小块IO性能,体现存储系统的IO延时能力和并发能力。业界一般默认IOPS指的是4K块大小的IO性能,该值越大说明性能越好。
46 1
|
3月前
|
存储 供应链 安全
新一代数据库技术——基于区块链的分布式存储系统
传统数据库系统通常采用集中式存储结构,容易受到单点故障和数据篡改的影响。本文将介绍基于区块链技术的分布式存储系统,探讨其在数据库领域的应用和优势,以及面临的挑战和未来发展趋势。
166 1
|
3月前
|
消息中间件 存储 NoSQL
面试题解析:如何解决分布式秒杀系统中的库存超卖问题?
面试题解析:如何解决分布式秒杀系统中的库存超卖问题?
108 0
|
3月前
|
存储 监控 网络协议
百度基于金融场景构建高实时、高可用的分布式数据传输系统的技术实践
本文将通过一个百度搜索旗下的金融场景案例来分享构建高实时、高可用的分布式数据传输系统的技术实践。
48 0
|
3月前
|
存储 NoSQL 算法
redis存储什么类型的数据?redis分布式锁怎么实现的?
redis存储什么类型的数据?redis分布式锁怎么实现的?
|
3月前
|
中间件 测试技术 调度
设计一个简易版本的分布式任务调度系统
设计一个简易版本的分布式任务调度系统
71 0