探索Cassandra的去中心化分布式架构(一)

简介: 探索Cassandra的去中心化分布式架构

关系型模型之父Edgar F. Codd,在1970年Communications of ACM 上发表了《大型共享数据库数据的关系模型》,成为了永恒的经典,关系模型的语义设计易于理解,语法上嵌套、闭环、完整,因此在数据库领域,关系模型普及与流行了数年之久。


在此之后,IT世界涌现了很多非常著名的RDBMS(关系型数据库系统),包括了Oracle、MySQL、SQLServer、DB2、PostgreSQL等。


1. 传统关系型数据库的分布式瓶颈


但是RDBMS的技术发展由于架构上的限制,遇到了很多问题,例如:关系模型的约束必须在设计前明确定义好属性,这就难以像很多NoSQL一样,具有灵活可变的模式,很难适应敏捷迭代的需要。


其实最难解决的一个问题,就是数据表的分布式化。


为什么会导致如此现象呢?


本质上,由于关系模型在前期设计上的强关联,导致表表之间的连接关系变得极为紧密。


例如:有一种比较普遍的业务场景中连接操作,通过A->B->C的关联查找,然而这种关联所形成的链,就将A、B、C紧密地捆绑在了一起。


那么这种紧密关系带来了什么问题呢?


那就是RDBMS在设计之初,很难去考虑到数据表在分布式网络环境中的通讯解耦设计,而只是单纯的数据表本地文件的IO扫描,而且在过去低带宽的网络环境中,模型关系的分布式化,更是难以想象。


如下图所示:


a67883b4e77d706641c7812a74eed36b.png


我们从上图可以看到,教师、学生和课程这三张表具有多对多的紧密关系(其中还有一些未展示的中间表),那么这种紧密的关系投射到具体的数据库物理文件上,就是图中多个物理上的表文件(Table Data),当我们查询时,就是通过关系逻辑对这些表文件进行了频繁的IO扫描。


在这种模式下,我们会发现一个问题,这些表实际上很难跨数据库而分布式拆分,也就是说,RDBMS很难以分布式形式,把教师表放到服务器1的数据库1上,学生表放到服务器2的数据库2上,课程表放到服务器3的数据库3上。


而且更难做到的是:将1万名学生总共10万次课程活动所产生的学生上课数据分拆成10个1万条数据表,再将表分布在不同的数据库中。


如下图所示:


9c2fc736377b79af3f49d61e023afd53.png


我们提出一个假设:如果能将学生课程活动表拆分到分布式网络中多个数据库实例当中,那么就极大地降低了单台数据库的负载。这对于访问量和数据量已经规模化的应用系统来说至关重要。


然而对于RDBMS来说,这种假设的目标实现是一件非常痛苦且困难的事情,例如:我们可以在网上搜索到大量关于MySQL分库分表的文章,这类文章的主题都是在对RDBMS进行分布式化的分区操作。


但是这种操作并非数据库天然所支持,必须组建专业的数据工程师团队,耗费大量的时间对数据库进行精密地调节,必须自己去解决分布式集群的诸多问题,例如:容错、复制、分区、一致性、分布式事务等等,其难度可想而知,所以这不是一般技术企业所能承担的巨大维护成本。


随着互联网时代的发展,互联网应用系统面向高并发、海量数据的规模化趋势愈演愈烈,RDBMS对于数据表进行分布式化的瓶颈也越来越明显,这也就促成了NoSQL在互联网等领域快速发展,接下来我们重点看看NoSQL的解决方案。


2. 中心化分布式架构的弊端


2.1 Hadoop分布式文件系统(HDFS)


谈到大数据领域的分布式数据库体系,必然绕不开Hadoop,Hadoop实际上是一个系统生态,基于Hadoop生态的各种分布式数据库都依赖于一个数据底座——HDFS,其实最早Google发明了GFS分布式文件系统之后,进行了论文发表,然后在开源界才产生了Hadoop分布式文件系统(HDFS)。


如下图所示:GFS/HDFS的特点表现在顺序的、成块的、无索引的向文件块中写入数据,并在集群环境中按块(block)均匀分布存储,需要使用时,再通过MapReduce、Spark这些批处理引擎发起并行任务,按块,批次地读取分析。这样就把写入和并行读取的性能发挥到了极致,具备了任何建立索引的数据库都无法比拟的读写速度。


05ea0cb17e34128c9f2054e98b115631.png


HDFS在对多个数据节点(DataNode)协调写入数据的过程中,一定是由一个中心化的服务进行了全局调度,那就是NameNode节点。


也就是说NameNode节点会是一个单点风险,若出现了故障,整个HDFS分布式文件系统集群就会出现崩溃。


因此HDFS为了NameNode的高可用(HA),实现了极为复杂的NameNode HA架构。


但是,在同一时刻,只可能有一个NameNode为所有数据的写入提供调度支撑,也就是说从并发负载的角度,NameNode始终会是一个瓶颈。


由于HDFS是整个Hadoop生态的数据底座,那么Hadoop的分布式架构就始终围绕在分布式中心化的路线上前进,然而中心化架构最大的问题就在于无论上层建筑如何变化,传导到数据底座后,HDFS作为中心管理者,一定会在高并发、大规模访问情况下成为瓶颈。


另外从集群节点的伸缩扩展方面也有隐患,问题来自于元数据在NameNode内存中可能会出现溢出。


2.2 大规模结构化的分布式数据库(HBase)


然而HDFS是面向成块的大文件数据,无索引地追加读写,也就不具有数据随机查找能力,另外缺少结构化设计机制,像集合的数据项扫描、统计和分析就无法独立支撑,必须构建上层数据库系统合作来完成,因此就产生了鼎鼎大名的HBase。


如下图所示:我们可以从图中看到HBase的数据底座完全依赖HDFS,也就是说数据如何物理上分布是由HDFS所决定。


a7f883c0f6c54b91bf1af142c484ddec.png


HBase实现了全局排序的K-V模型,满足海量数据的存放条件下通过行键定位结果,能达到毫秒级响应的数据库,或者通过主键排序扫描实现了统计分组。


尽管HBase对于大规模结构化数据的写入、排序扫描和聚合分析有着巨大的性能优势,但是HBase的查找设计目标并不是解决二次索引的大范围查找。


我们再看HBase完成数据切分的办法——Region切分,当Region(我们可以理解为数据表)追加数据超出阀值后,就要进行Region拆分,然后拆分出的新Region分布到别的RegionServer中。


这里有两个问题:


1)同一时刻向Region写入新数据的服务器必须是唯一的,那么这里就会出现RegionServer的高并发访问瓶颈。


2)由于分布式架构设计上的约束,使得HBase不具有二级索引,在随机查找过程中,只能根据全局的Region排序进行扫描,这就无法承载Web应用的数据随机查找的实时性。


因此HBase一般会作为大规模数据流形式导入的OLAP系统。


相关实践学习
lindorm多模间数据无缝流转
展现了Lindorm多模融合能力——用kafka API写入,无缝流转在各引擎内进行数据存储和计算的实验。
云数据库HBase版使用教程
  相关的阿里云产品:云数据库 HBase 版 面向大数据领域的一站式NoSQL服务,100%兼容开源HBase并深度扩展,支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力,是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库,是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情: https://cn.aliyun.com/product/hbase   ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
2月前
|
存储 安全 区块链
未来网络架构:从中心化到去中心化的演进
【10月更文挑战第20天】 在数字时代,网络架构是支撑信息社会的基石。本文将探讨网络架构如何从传统的中心化模式逐步演变为更加灵活、高效的去中心化模式。我们将分析这一转变背后的技术驱动力,包括区块链、分布式账本技术和点对点(P2P)网络,以及这些技术如何共同作用于网络的未来形态。文章还将讨论去中心化网络架构面临的挑战和潜在的解决方案,为读者提供一个关于网络未来发展的宏观视角。
123 12
|
3月前
|
安全 应用服务中间件 API
微服务分布式系统架构之zookeeper与dubbo-2
微服务分布式系统架构之zookeeper与dubbo-2
|
6天前
|
设计模式 存储 算法
分布式系统架构5:限流设计模式
本文是小卷关于分布式系统架构学习的第5篇,重点介绍限流器及4种常见的限流设计模式:流量计数器、滑动窗口、漏桶和令牌桶。限流旨在保护系统免受超额流量冲击,确保资源合理分配。流量计数器简单但存在边界问题;滑动窗口更精细地控制流量;漏桶平滑流量但配置复杂;令牌桶允许突发流量。此外,还简要介绍了分布式限流的概念及实现方式,强调了限流的代价与收益权衡。
44 11
|
8天前
|
设计模式 监控 Java
分布式系统架构4:容错设计模式
这是小卷对分布式系统架构学习的第4篇文章,重点介绍了三种常见的容错设计模式:断路器模式、舱壁隔离模式和重试模式。断路器模式防止服务故障蔓延,舱壁隔离模式通过资源隔离避免全局影响,重试模式提升短期故障下的调用成功率。文章还对比了这些模式的优缺点及适用场景,并解释了服务熔断与服务降级的区别。尽管技术文章阅读量不高,但小卷坚持每日更新以促进个人成长。
35 11
|
9天前
|
消息中间件 存储 安全
分布式系统架构3:服务容错
分布式系统因其复杂性,故障几乎是必然的。那么如何让系统在不可避免的故障中依然保持稳定?本文详细介绍了分布式架构中7种核心的服务容错策略,包括故障转移、快速失败、安全失败等,以及它们在实际业务场景中的应用。无论是支付场景的快速失败,还是日志采集的安全失败,每种策略都有自己的适用领域和优缺点。此外,文章还为技术面试提供了解题思路,助你在关键时刻脱颖而出。掌握这些策略,不仅能提升系统健壮性,还能让你的技术栈更上一层楼!快来深入学习,走向架构师之路吧!
44 11
|
11天前
|
自然语言处理 负载均衡 Kubernetes
分布式系统架构2:服务发现
服务发现是分布式系统中服务实例动态注册和发现机制,确保服务间通信。主要由注册中心和服务消费者组成,支持客户端和服务端两种发现模式。注册中心需具备高可用性,常用框架有Eureka、Zookeeper、Consul等。服务注册方式包括主动注册和被动注册,核心流程涵盖服务注册、心跳检测、服务发现、服务调用和注销。
47 12
|
23天前
|
消息中间件 架构师 数据库
本地消息表事务:10Wqps 高并发分布式事务的 终极方案,大厂架构师的 必备方案
45岁资深架构师尼恩分享了一篇关于分布式事务的文章,详细解析了如何在10Wqps高并发场景下实现分布式事务。文章从传统单体架构到微服务架构下分布式事务的需求背景出发,介绍了Seata这一开源分布式事务解决方案及其AT和TCC两种模式。随后,文章深入探讨了经典ebay本地消息表方案,以及如何使用RocketMQ消息队列替代数据库表来提高性能和可靠性。尼恩还分享了如何结合延迟消息进行事务数据的定时对账,确保最终一致性。最后,尼恩强调了高端面试中需要准备“高大上”的答案,并提供了多个技术领域的深度学习资料,帮助读者提升技术水平,顺利通过面试。
本地消息表事务:10Wqps 高并发分布式事务的 终极方案,大厂架构师的 必备方案
|
19天前
|
存储 算法 安全
分布式系统架构1:共识算法Paxos
本文介绍了分布式系统中实现数据一致性的重要算法——Paxos及其改进版Multi Paxos。Paxos算法由Leslie Lamport提出,旨在解决分布式环境下的共识问题,通过提案节点、决策节点和记录节点的协作,确保数据在多台机器间的一致性和可用性。Multi Paxos通过引入主节点选举机制,优化了基本Paxos的效率,减少了网络通信次数,提高了系统的性能和可靠性。文中还简要讨论了数据复制的安全性和一致性保障措施。
34 1
|
1月前
|
人工智能 运维 算法
引领企业未来数字基础架构浪潮,中国铁塔探索超大规模分布式算力
引领企业未来数字基础架构浪潮,中国铁塔探索超大规模分布式算力
|
27天前
|
NoSQL Java 数据处理
基于Redis海量数据场景分布式ID架构实践
【11月更文挑战第30天】在现代分布式系统中,生成全局唯一的ID是一个常见且重要的需求。在微服务架构中,各个服务可能需要生成唯一标识符,如用户ID、订单ID等。传统的自增ID已经无法满足在集群环境下保持唯一性的要求,而分布式ID解决方案能够确保即使在多个实例间也能生成全局唯一的标识符。本文将深入探讨如何利用Redis实现分布式ID生成,并通过Java语言展示多个示例,同时分析每个实践方案的优缺点。
60 8

热门文章

最新文章