分布式数据库系统的分类及体系架构 | 学习笔记

简介: 快速学习 分布式数据库系统的分类及体系架构

开发者学堂课程【分布式数据库技术与实现分布式数据库系统的分类及体系架构】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/373/detail/4688


分布式数据库系统的分类及体系架构


目录  

一. 分布式数据库系统的分类

二. 体系架构

.垂直分片和水平分片的区别


一.分布式数据库系统的分类

分为以下三类

1.  同质同构数据库

指完全相同的数据库,如每一个分库都是 Oracle

2.  同质异构数据库

如讲 OracleMySQLPostgreSQL 混用,三者是不同的数据库,但实际本质上都是关系型数据库。

3.  异构数据库

如关系型数据库跟文档数据库跟搜索引擎

在同一个逻辑里,最常见的是同质同构数据库,一般从运维的角度来讲,相同的数据库更便于运维,从全局的角度来讲,异构体数据库更常见,由于关系数据库,文档数据库跟搜索引擎每一种不同数据库在处理性能,还有功能方面有各自的优势,

所以如在商品交易系统里,使用关系数据库,但是同时产品要提供搜索,因此要把关系数据库跟搜索引擎整个纳入系统,所以从全局角度看,这是一个异构数据库。

image.png


二.体系架构

1.数据分片

2.数据分配

由于把全局数据分散到不同的地域,就涉及到分配的标准,分配的方法主要是两个维度:

1>分割分配

所谓的分割分配是指把数据分散到不同的节点,并且每一个节点之间的数据是不互相重复的,所有结点的总和是数据的全集。

2>全复制分配

每一个节点都拥有全量的数据,不同节点之间的数据都是完全相同的,这样的数据库往往用在解决”读”的问题,即当只有读的压力比较大,而数据的种量还有数据的写性能还没有达到瓶颈,全复制分配是一种不错的分配方案。

最常见的还是分割分配跟全复制分配的混合结构,如按地区分割成不同的存储节点,而在同一个地区里,由于要保证数据的安全性,同一个地区的数据会复制出多个节点,每个节点拥有整个地区的数据,从这种结构上就是分割分配跟全复制分配的混合。

数据分配架构决定了不同节点之间的逻辑关系,从工程角度还要考虑数据的分片,常见的三种分片:

1> 水平分片

水平分片就是按行拆分,如同一地区的商品,仍然按照不同的卖家来分配到不同的表里,这种分配格式里,不同的分片之间,它们的数据结构是一样的,即他们的字段数目跟字段类型是一样的,把所有数据的行合并到一起,就是数据的全集。

2> 垂直分片

垂直分片即将一张表的数据按字段分成多个表,基本的分片方法是将频繁更新的字段跟不平凡更新的字段分开,将大字段跟小字段分开,这种分片方式最主要的目的减少更新对磁盘造成的影响,如一个商品有颜色,价格,详细信息,描述等,还有库存,实际上如库存这样的字段会经常更新,而像商品介绍是不经常更新的,把它分开就可以避免由于我们更新产品库存而导致整个表的更新量变得更大。

3>混合分片

混合分片就是同时使用水平跟垂直两种分片结构。


三.垂直分片和水平分片的区别

水平分片本身已经包含了整个表的结构,因此不需要冗余字段,而垂直分片,需要一个字段能够用来标识两个不同的表之间的逻辑一致性,如将商品的详细信息这个字段单独区分开,放在一个额外的表,就需要在这张表里面也存一个商品的 ID ,因此垂直分片本身天然的就会造成冗余。

不论是将数据如何分配到不同的节点,分布式数据库系统要求分片里面一定要满足以下的几个规则:

1>完备性

所有的数据虽然被分配到不同的节点,但是所有节点和总和必须包含完整的信息。

2>重构条件

把数据分配到不同的节点以后,一定要有线索将数据通过固定的方法合并成完整的数据。如垂直分片的方法,如果商品信息的表本身没有商品 ID,就会导致无法将商品详情合并回商品表。

3>不相交条件

如一个商品不会同时出现在两个不同的地区

实际上在工程实现上12是必须完全满足的,第三个条件,从数据的可靠性或从访问的速度考虑,会做一些妥协。

相关文章
|
15天前
|
机器学习/深度学习 缓存 自然语言处理
DeepSeek背后的技术基石:DeepSeekMoE基于专家混合系统的大规模语言模型架构
DeepSeekMoE是一种创新的大规模语言模型架构,融合了专家混合系统(MoE)、多头潜在注意力机制(MLA)和RMSNorm归一化。通过专家共享、动态路由和潜在变量缓存技术,DeepSeekMoE在保持性能的同时,将计算开销降低了40%,显著提升了训练和推理效率。该模型在语言建模、机器翻译和长文本处理等任务中表现出色,具备广泛的应用前景,特别是在计算资源受限的场景下。
319 29
DeepSeek背后的技术基石:DeepSeekMoE基于专家混合系统的大规模语言模型架构
|
2月前
|
监控 安全 API
使用PaliGemma2构建多模态目标检测系统:从架构设计到性能优化的技术实践指南
本文详细介绍了PaliGemma2模型的微调流程及其在目标检测任务中的应用。PaliGemma2通过整合SigLIP-So400m视觉编码器与Gemma 2系列语言模型,实现了多模态数据的高效处理。文章涵盖了开发环境构建、数据集预处理、模型初始化与配置、数据加载系统实现、模型微调、推理与评估系统以及性能分析与优化策略等内容。特别强调了计算资源优化、训练过程监控和自动化优化流程的重要性,为机器学习工程师和研究人员提供了系统化的技术方案。
203 77
使用PaliGemma2构建多模态目标检测系统:从架构设计到性能优化的技术实践指南
|
2月前
|
自然语言处理 JavaScript Java
《鸿蒙HarmonyOS应用开发从入门到精通(第2版)》学习笔记——HarmonyOS架构介绍
HarmonyOS采用分层架构设计,从下至上分为内核层、系统服务层、框架层和应用层。内核层支持多内核设计与硬件驱动;系统服务层提供核心能力和服务;框架层支持多语言开发;应用层包括系统及第三方应用,支持跨设备调度,确保一致的用户体验。
174 81
|
13天前
|
人工智能 JavaScript 安全
【01】Java+若依+vue.js技术栈实现钱包积分管理系统项目-商业级电玩城积分系统商业项目实战-需求改为思维导图-设计数据库-确定基础架构和设计-优雅草卓伊凡商业项目实战
【01】Java+若依+vue.js技术栈实现钱包积分管理系统项目-商业级电玩城积分系统商业项目实战-需求改为思维导图-设计数据库-确定基础架构和设计-优雅草卓伊凡商业项目实战
55 13
【01】Java+若依+vue.js技术栈实现钱包积分管理系统项目-商业级电玩城积分系统商业项目实战-需求改为思维导图-设计数据库-确定基础架构和设计-优雅草卓伊凡商业项目实战
|
2天前
|
安全 NoSQL MongoDB
XJ-Survey:这个让滴滴日均处理1.2亿次问卷请求的开源系统,今天终于公开了它的架构密码!
嗨,大家好,我是小华同学。今天为大家介绍一款由滴滴开源的高效调研系统——XJ-Survey。它功能强大,支持多类型数据采集、智能逻辑编排、精细权限管理和数据在线分析,适用于问卷、考试、测评等场景。采用 Vue3、NestJS 等先进技术栈,确保高性能与安全性。无论是企业还是个人,XJ-Survey 都是你不可错过的神器!项目地址:[https://github.com/didi/xiaoju-survey](https://github.com/didi/xiaoju-survey)
37 15
|
24天前
|
存储 缓存 关系型数据库
社交软件红包技术解密(六):微信红包系统的存储层架构演进实践
微信红包本质是小额资金在用户帐户流转,有发、抢、拆三大步骤。在这个过程中对事务有高要求,所以订单最终要基于传统的RDBMS,这方面是它的强项,最终订单的存储使用互联网行业最通用的MySQL数据库。支持事务、成熟稳定,我们的团队在MySQL上有长期技术积累。但是传统数据库的扩展性有局限,需要通过架构解决。
65 18
|
2月前
|
机器学习/深度学习 算法 数据可视化
基于深度混合架构的智能量化交易系统研究: 融合SSDA与LSTM自编码器的特征提取与决策优化方法
本文探讨了在量化交易中结合时序特征和静态特征的混合建模方法。通过整合堆叠稀疏降噪自编码器(SSDA)和基于LSTM的自编码器(LSTM-AE),构建了一个能够全面捕捉市场动态特性的交易系统。SSDA通过降噪技术提取股票数据的鲁棒表示,LSTM-AE则专注于捕捉市场的时序依赖关系。系统采用A2C算法进行强化学习,通过多维度的奖励计算机制,实现了在可接受的风险水平下最大化收益的目标。实验结果显示,该系统在不同波动特征的股票上表现出差异化的适应能力,特别是在存在明确市场趋势的情况下,决策准确性较高。
85 5
基于深度混合架构的智能量化交易系统研究: 融合SSDA与LSTM自编码器的特征提取与决策优化方法
|
1月前
|
消息中间件 监控 小程序
电竞陪玩系统架构优化设计,陪玩app如何提升系统稳定性,陪玩小程序平台的测试与监控
电竞陪玩系统架构涵盖前端(React/Vue)、后端(Spring Boot/php)、数据库(MySQL/MongoDB)、实时通信(WebSocket)及其他组件(Redis、RabbitMQ、Nginx)。通过模块化设计、微服务架构和云计算技术优化,提升系统性能与可靠性。同时,加强全面测试、实时监控及故障管理,确保系统稳定运行。
|
2月前
|
机器学习/深度学习 人工智能 并行计算
【AI系统】Kernel 层架构
推理引擎的Kernel层负责执行底层数学运算,如矩阵乘法、卷积等,直接影响推理速度与效率。它与Runtime层紧密配合,通过算法优化、内存布局调整、汇编优化及调度优化等手段,实现高性能计算。Kernel层针对不同硬件(如CPU、GPU)进行特定优化,支持NEON、AVX、CUDA等技术,确保在多种平台上高效运行。
121 32
|
2月前
|
存储 机器学习/深度学习 人工智能
【AI系统】计算图优化架构
本文介绍了推理引擎转换中的图优化模块,涵盖算子融合、布局转换、算子替换及内存优化等技术,旨在提升模型推理效率。计算图优化技术通过减少计算冗余、提高计算效率和减少内存占用,显著改善模型在资源受限设备上的运行表现。文中详细探讨了离线优化模块面临的挑战及解决方案,包括结构冗余、精度冗余、算法冗余和读写冗余的处理方法。此外,文章还介绍了ONNX Runtime的图优化机制及其在实际应用中的实现,展示了如何通过图优化提高模型推理性能的具体示例。
76 4
【AI系统】计算图优化架构