分布式数据库系统的分类及体系架构 | 学习笔记

简介: 快速学习 分布式数据库系统的分类及体系架构

开发者学堂课程【分布式数据库技术与实现分布式数据库系统的分类及体系架构】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/373/detail/4688


分布式数据库系统的分类及体系架构


目录  

一. 分布式数据库系统的分类

二. 体系架构

.垂直分片和水平分片的区别


一.分布式数据库系统的分类

分为以下三类

1.  同质同构数据库

指完全相同的数据库,如每一个分库都是 Oracle

2.  同质异构数据库

如讲 OracleMySQLPostgreSQL 混用,三者是不同的数据库,但实际本质上都是关系型数据库。

3.  异构数据库

如关系型数据库跟文档数据库跟搜索引擎

在同一个逻辑里,最常见的是同质同构数据库,一般从运维的角度来讲,相同的数据库更便于运维,从全局的角度来讲,异构体数据库更常见,由于关系数据库,文档数据库跟搜索引擎每一种不同数据库在处理性能,还有功能方面有各自的优势,

所以如在商品交易系统里,使用关系数据库,但是同时产品要提供搜索,因此要把关系数据库跟搜索引擎整个纳入系统,所以从全局角度看,这是一个异构数据库。

image.png


二.体系架构

1.数据分片

2.数据分配

由于把全局数据分散到不同的地域,就涉及到分配的标准,分配的方法主要是两个维度:

1>分割分配

所谓的分割分配是指把数据分散到不同的节点,并且每一个节点之间的数据是不互相重复的,所有结点的总和是数据的全集。

2>全复制分配

每一个节点都拥有全量的数据,不同节点之间的数据都是完全相同的,这样的数据库往往用在解决”读”的问题,即当只有读的压力比较大,而数据的种量还有数据的写性能还没有达到瓶颈,全复制分配是一种不错的分配方案。

最常见的还是分割分配跟全复制分配的混合结构,如按地区分割成不同的存储节点,而在同一个地区里,由于要保证数据的安全性,同一个地区的数据会复制出多个节点,每个节点拥有整个地区的数据,从这种结构上就是分割分配跟全复制分配的混合。

数据分配架构决定了不同节点之间的逻辑关系,从工程角度还要考虑数据的分片,常见的三种分片:

1> 水平分片

水平分片就是按行拆分,如同一地区的商品,仍然按照不同的卖家来分配到不同的表里,这种分配格式里,不同的分片之间,它们的数据结构是一样的,即他们的字段数目跟字段类型是一样的,把所有数据的行合并到一起,就是数据的全集。

2> 垂直分片

垂直分片即将一张表的数据按字段分成多个表,基本的分片方法是将频繁更新的字段跟不平凡更新的字段分开,将大字段跟小字段分开,这种分片方式最主要的目的减少更新对磁盘造成的影响,如一个商品有颜色,价格,详细信息,描述等,还有库存,实际上如库存这样的字段会经常更新,而像商品介绍是不经常更新的,把它分开就可以避免由于我们更新产品库存而导致整个表的更新量变得更大。

3>混合分片

混合分片就是同时使用水平跟垂直两种分片结构。


三.垂直分片和水平分片的区别

水平分片本身已经包含了整个表的结构,因此不需要冗余字段,而垂直分片,需要一个字段能够用来标识两个不同的表之间的逻辑一致性,如将商品的详细信息这个字段单独区分开,放在一个额外的表,就需要在这张表里面也存一个商品的 ID ,因此垂直分片本身天然的就会造成冗余。

不论是将数据如何分配到不同的节点,分布式数据库系统要求分片里面一定要满足以下的几个规则:

1>完备性

所有的数据虽然被分配到不同的节点,但是所有节点和总和必须包含完整的信息。

2>重构条件

把数据分配到不同的节点以后,一定要有线索将数据通过固定的方法合并成完整的数据。如垂直分片的方法,如果商品信息的表本身没有商品 ID,就会导致无法将商品详情合并回商品表。

3>不相交条件

如一个商品不会同时出现在两个不同的地区

实际上在工程实现上12是必须完全满足的,第三个条件,从数据的可靠性或从访问的速度考虑,会做一些妥协。

相关文章
|
4月前
|
人工智能 前端开发 Java
DDD四层架构和MVC三层架构的个人理解和学习笔记
领域驱动设计(DDD)是一种以业务为核心的设计方法,与传统MVC架构不同,DDD将业务逻辑拆分为应用层和领域层,更关注业务领域而非数据库设计。其四层架构包括:Interface(接口层)、Application(应用层)、Domain(领域层)和Infrastructure(基础层)。各层职责分明,避免跨层调用,确保业务逻辑清晰。代码实现中,通过DTO、Entity、DO等对象的转换,结合ProtoBuf协议,完成请求与响应的处理流程。为提高复用性,实际项目中可增加Common层存放公共依赖。DDD强调从业务出发设计软件,适应复杂业务场景,是微服务架构的重要设计思想。
|
7月前
|
自然语言处理 JavaScript Java
《鸿蒙HarmonyOS应用开发从入门到精通(第2版)》学习笔记——HarmonyOS架构介绍
HarmonyOS采用分层架构设计,从下至上分为内核层、系统服务层、框架层和应用层。内核层支持多内核设计与硬件驱动;系统服务层提供核心能力和服务;框架层支持多语言开发;应用层包括系统及第三方应用,支持跨设备调度,确保一致的用户体验。
485 81
|
9月前
|
存储 分布式计算 负载均衡
|
9月前
|
存储 SQL 关系型数据库
Mysql学习笔记(二):数据库命令行代码总结
这篇文章是关于MySQL数据库命令行操作的总结,包括登录、退出、查看时间与版本、数据库和数据表的基本操作(如创建、删除、查看)、数据的增删改查等。它还涉及了如何通过SQL语句进行条件查询、模糊查询、范围查询和限制查询,以及如何进行表结构的修改。这些内容对于初学者来说非常实用,是学习MySQL数据库管理的基础。
279 6
|
9月前
|
SQL Ubuntu 关系型数据库
Mysql学习笔记(一):数据库详细介绍以及Navicat简单使用
本文为MySQL学习笔记,介绍了数据库的基本概念,包括行、列、主键等,并解释了C/S和B/S架构以及SQL语言的分类。接着,指导如何在Windows和Ubuntu系统上安装MySQL,并提供了启动、停止和重启服务的命令。文章还涵盖了Navicat的使用,包括安装、登录和新建表格等步骤。最后,介绍了MySQL中的数据类型和字段约束,如主键、外键、非空和唯一等。
187 3
Mysql学习笔记(一):数据库详细介绍以及Navicat简单使用
|
10月前
|
SQL 关系型数据库 MySQL
php学习笔记-连接操作mysq数据库(基础)-day08
本文介绍了PHP中连接操作MySQL数据库的常用函数,包括连接服务器、设置字符集、关闭连接、选择数据库、结果集释放、获取影响行数以及遍历结果集等操作。通过书籍查询的实例演示了如何使用这些函数进行数据库操作,并提供了一个PHP操纵MySQL数据库的模板。
php学习笔记-连接操作mysq数据库(基础)-day08
|
10月前
|
SQL 关系型数据库 MySQL
学成在线笔记+踩坑(3)——【内容模块】课程分类查询、课程增改删、课程计划增删改查,统一异常处理+JSR303校验
课程分类查询、课程新增、统一异常处理、统一封装结果类、JSR303校验、修改课程、查询课程计划、新增/修改课程计划
学成在线笔记+踩坑(3)——【内容模块】课程分类查询、课程增改删、课程计划增删改查,统一异常处理+JSR303校验
|
11月前
|
开发工具 数据安全/隐私保护 索引
LDAP学习笔记之二:389-DS(RHDS) 增删改查基本操作
LDAP学习笔记之二:389-DS(RHDS) 增删改查基本操作
|
11月前
|
SQL druid Java
Java数据库部分(MySQL+JDBC)(二、JDBC超详细学习笔记)(下)
Java数据库部分(MySQL+JDBC)(二、JDBC超详细学习笔记)
119 3
Java数据库部分(MySQL+JDBC)(二、JDBC超详细学习笔记)(下)
|
23天前
|
缓存 NoSQL 算法
高并发秒杀系统实战(Redis+Lua分布式锁防超卖与库存扣减优化)
秒杀系统面临瞬时高并发、资源竞争和数据一致性挑战。传统方案如数据库锁或应用层锁存在性能瓶颈或分布式问题,而基于Redis的分布式锁与Lua脚本原子操作成为高效解决方案。通过Redis的`SETNX`实现分布式锁,结合Lua脚本完成库存扣减,确保操作原子性并大幅提升性能(QPS从120提升至8,200)。此外,分段库存策略、多级限流及服务降级机制进一步优化系统稳定性。最佳实践包括分层防控、黄金扣减法则与容灾设计,强调根据业务特性灵活组合技术手段以应对高并发场景。
360 7

热门文章

最新文章