分布式数据库系统的分类及体系架构 | 学习笔记

在线体验各类最新模型,更有模型 免费Token 额度领取!
立即体验
简介: 快速学习 分布式数据库系统的分类及体系架构

开发者学堂课程【分布式数据库技术与实现分布式数据库系统的分类及体系架构】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/373/detail/4688


分布式数据库系统的分类及体系架构


目录  

一. 分布式数据库系统的分类

二. 体系架构

.垂直分片和水平分片的区别


一.分布式数据库系统的分类

分为以下三类

1.  同质同构数据库

指完全相同的数据库,如每一个分库都是 Oracle

2.  同质异构数据库

如讲 OracleMySQLPostgreSQL 混用,三者是不同的数据库,但实际本质上都是关系型数据库。

3.  异构数据库

如关系型数据库跟文档数据库跟搜索引擎

在同一个逻辑里,最常见的是同质同构数据库,一般从运维的角度来讲,相同的数据库更便于运维,从全局的角度来讲,异构体数据库更常见,由于关系数据库,文档数据库跟搜索引擎每一种不同数据库在处理性能,还有功能方面有各自的优势,

所以如在商品交易系统里,使用关系数据库,但是同时产品要提供搜索,因此要把关系数据库跟搜索引擎整个纳入系统,所以从全局角度看,这是一个异构数据库。

image.png


二.体系架构

1.数据分片

2.数据分配

由于把全局数据分散到不同的地域,就涉及到分配的标准,分配的方法主要是两个维度:

1>分割分配

所谓的分割分配是指把数据分散到不同的节点,并且每一个节点之间的数据是不互相重复的,所有结点的总和是数据的全集。

2>全复制分配

每一个节点都拥有全量的数据,不同节点之间的数据都是完全相同的,这样的数据库往往用在解决”读”的问题,即当只有读的压力比较大,而数据的种量还有数据的写性能还没有达到瓶颈,全复制分配是一种不错的分配方案。

最常见的还是分割分配跟全复制分配的混合结构,如按地区分割成不同的存储节点,而在同一个地区里,由于要保证数据的安全性,同一个地区的数据会复制出多个节点,每个节点拥有整个地区的数据,从这种结构上就是分割分配跟全复制分配的混合。

数据分配架构决定了不同节点之间的逻辑关系,从工程角度还要考虑数据的分片,常见的三种分片:

1> 水平分片

水平分片就是按行拆分,如同一地区的商品,仍然按照不同的卖家来分配到不同的表里,这种分配格式里,不同的分片之间,它们的数据结构是一样的,即他们的字段数目跟字段类型是一样的,把所有数据的行合并到一起,就是数据的全集。

2> 垂直分片

垂直分片即将一张表的数据按字段分成多个表,基本的分片方法是将频繁更新的字段跟不平凡更新的字段分开,将大字段跟小字段分开,这种分片方式最主要的目的减少更新对磁盘造成的影响,如一个商品有颜色,价格,详细信息,描述等,还有库存,实际上如库存这样的字段会经常更新,而像商品介绍是不经常更新的,把它分开就可以避免由于我们更新产品库存而导致整个表的更新量变得更大。

3>混合分片

混合分片就是同时使用水平跟垂直两种分片结构。


三.垂直分片和水平分片的区别

水平分片本身已经包含了整个表的结构,因此不需要冗余字段,而垂直分片,需要一个字段能够用来标识两个不同的表之间的逻辑一致性,如将商品的详细信息这个字段单独区分开,放在一个额外的表,就需要在这张表里面也存一个商品的 ID ,因此垂直分片本身天然的就会造成冗余。

不论是将数据如何分配到不同的节点,分布式数据库系统要求分片里面一定要满足以下的几个规则:

1>完备性

所有的数据虽然被分配到不同的节点,但是所有节点和总和必须包含完整的信息。

2>重构条件

把数据分配到不同的节点以后,一定要有线索将数据通过固定的方法合并成完整的数据。如垂直分片的方法,如果商品信息的表本身没有商品 ID,就会导致无法将商品详情合并回商品表。

3>不相交条件

如一个商品不会同时出现在两个不同的地区

实际上在工程实现上12是必须完全满足的,第三个条件,从数据的可靠性或从访问的速度考虑,会做一些妥协。

相关文章
|
人工智能 Kubernetes 数据可视化
Kubernetes下的分布式采集系统设计与实战:趋势监测失效引发的架构进化
本文回顾了一次关键词监测任务在容器集群中失效的全过程,分析了中转IP复用、调度节奏和异常处理等隐性风险,并提出通过解耦架构、动态IP分发和行为模拟优化采集策略,最终实现稳定高效的数据抓取与分析。
254 2
Kubernetes下的分布式采集系统设计与实战:趋势监测失效引发的架构进化
|
负载均衡 算法 关系型数据库
大数据大厂之MySQL数据库课程设计:揭秘MySQL集群架构负载均衡核心算法:从理论到Java代码实战,让你的数据库性能飙升!
本文聚焦 MySQL 集群架构中的负载均衡算法,阐述其重要性。详细介绍轮询、加权轮询、最少连接、加权最少连接、随机、源地址哈希等常用算法,分析各自优缺点及适用场景。并提供 Java 语言代码实现示例,助力直观理解。文章结构清晰,语言通俗易懂,对理解和应用负载均衡算法具有实用价值和参考价值。
大数据大厂之MySQL数据库课程设计:揭秘MySQL集群架构负载均衡核心算法:从理论到Java代码实战,让你的数据库性能飙升!
|
9月前
|
缓存 Cloud Native 中间件
《聊聊分布式》从单体到分布式:电商系统架构演进之路
本文系统阐述了电商平台从单体到分布式架构的演进历程,剖析了单体架构的局限性与分布式架构的优势,结合淘宝、京东等真实案例,深入探讨了服务拆分、数据库分片、中间件体系等关键技术实践,并总结了渐进式迁移策略与核心经验,为大型应用架构升级提供了全面参考。
|
9月前
|
存储 NoSQL 前端开发
【赵渝强老师】MongoDB的分布式存储架构
MongoDB分片通过将数据分布到多台服务器,实现海量数据的高效存储与读写。其架构包含路由、配置服务器和分片服务器,支持水平扩展,结合复制集保障高可用性,适用于大规模生产环境。
614 1
|
监控 算法 关系型数据库
分布式事务难题终结:Seata+DRDS全局事务一致性架构设计
在分布式系统中,CAP定理限制了可用性、一致性与分区容错的三者兼得,尤其在网络分区时需做出取舍。为应对这一挑战,最终一致性方案成为常见选择。以电商订单系统为例,微服务化后,原本的本地事务演变为跨数据库的分布式事务,暴露出全局锁失效、事务边界模糊及协议差异等问题。本文深入探讨了基于 Seata 与 DRDS 的分布式事务解决方案,涵盖 AT 模式实践、分片策略优化、典型问题处理、性能调优及高级特性实现,结合实际业务场景提供可落地的技术路径与架构设计原则。通过压测验证,该方案在事务延迟、TPS 及失败率等方面均取得显著优化效果。
637 61
|
监控 Linux 应用服务中间件
Linux多节点多硬盘部署MinIO:分布式MinIO集群部署指南搭建高可用架构实践
通过以上步骤,已成功基于已有的 MinIO 服务,扩展为一个 MinIO 集群。该集群具有高可用性和容错性,适合生产环境使用。如果有任何问题,请检查日志或参考MinIO 官方文档。作者联系方式vx:2743642415。
4093 57
|
存储 监控 分布式数据库
ClickHouse分布式数据库动态伸缩(弹性扩缩容)的实现
实现ClickHouse数据库的动态伸缩需要持续的维护和精细的操作。从集群配置到数据迁移,再到监控和自动化,每一步都要仔细管理以确保服务的可靠性和性能。这些活动可以显著提高应用的响应性和成本效率,帮助业务根据实际需求灵活调整资源分配。
590 10
|
存储 关系型数据库 分布式数据库
【赵渝强老师】基于PostgreSQL的分布式数据库:Citus
Citus 是基于 PostgreSQL 的开源分布式数据库,采用 shared nothing 架构,具备良好的扩展性。它以插件形式集成,部署简单,适用于处理大规模数据和高并发场景。本文介绍了 Citus 的基础概念、安装配置步骤及其在单机环境下的集群搭建方法。
1034 2
|
存储 关系型数据库 数据库
高性能云盘:一文解析RDS数据库存储架构升级
性能、成本、弹性,是客户实际使用数据库过程中关注的三个重要方面。RDS业界率先推出的高性能云盘(原通用云盘),是PaaS层和IaaS层的深度融合的技术最佳实践,通过使用不同的存储介质,为客户提供同时满足低成本、低延迟、高持久性的体验。

热门文章

最新文章