浅谈分布式数据库系统

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云原生数据库 PolarDB MySQL 版,Serverless 5000PCU 100GB
云数据库 Redis 版,社区版 2GB
推荐场景:
搭建游戏排行榜
简介: 【6月更文挑战第4天】该文探讨了数据库管理系统的解决方案,建议使用Redis和MQ作为缓存和中转,减轻数据库压力。分布式系统需透明处理数据位置,解决查询执行和正确性问题。了解这些底层设计有助于应对性能挑战。

简介

分布式数据库管理系统通过事务处理和查询执行算法保证透明性,处理容错。关键问题包括数据查找、分布式查询执行和一致性保证。

创世卵CosmicEgg1.png

分布式系统可分担逻辑数据库,实现容错。并行与分布式DBMS的区别在于物理距离、网络可靠性和通信成本。共享内存和磁盘架构各有优缺点。无共享环境提高性能但扩展性和一致性复杂。

分布式系统分担数据库负载,实现容错。与并行DBMS相比,分布式系统考虑更远距离、网络可靠性及通信成本。

共享内存和磁盘架构各有优劣,无共享环境提升性能但扩展性和一致性复杂。

使用Redis和MQ类型的中间件作为缓存和中转可减轻数据库压力。

1 解决方案

一个直截了当的方案是,我们可以利用Redis,MQ中间件的数据缓存,内容分发等功能,作为缓存站和中转站分担数据库压力。

分布式数据库管理系统 将单个逻辑数据库划分到多个物理资源中。
应用程序(通常)不知道数据被拆分到单独的硬件上。

该系统依赖于技术和来自单节点 数据库管理系统 的算法,支持分布式中的事务处理和查询执行环境。

设计分布式数据库管理系统的一个重要目标是容错(即避免单个或一个节点故障导致整个系统瘫痪)。

2 并行和分布式 数据库管理系统 之间的区别。

  • 并行集中式数据库:

      • 节点在物理上彼此靠近。
      • 节点通过高速 LAN(快速、可靠的通信结构)连接。
      • 假设节点之间的通信成本很小。因此,人们无需担心
    

关于设计内部协议时节点崩溃或数据包被丢弃。

  • 分布式数据库:

      • 节点之间可能相距很远。
      • 节点可能通过公共网络连接,这可能很慢且不可靠。
      • 通信成本和连接问题不容忽视(即节点可能会崩溃,数据包可能会被丢弃)。
    

数据库管理系统的系统体系结构指定 CPU 可以直接访问哪些共享资源。

它影响CPU 如何相互协调,以及它们在数据库中检索和存储对象的位置。

单节点数据库管理系统 使用所谓的共享一切架构。

此单个节点在具有自己的本地内存地址空间和磁盘的本地 CPU 上执行工作线程。

3 数据库共享内存

分布式系统中共享一切体系结构的替代方法是共享内存。

CPU 有权访问通过快速互连到公共存储器地址空间。CPU 也共享同一个磁盘。

实际上,大多数DBMS不使用此体系结构,因为它是在操作系统/内核级别提供的。

它还会导致问题,因为每个进程的内存范围是相同的内存地址空间,可以修改通过多个进程。

每个处理器都有所有内存中数据结构的全局视图。处理器上的每个 DBMS 实例必须“知道”其他实例。

4 数据库共享磁盘

在共享磁盘架构中,所有 CPU 都可以通过互连直接读取和写入单个逻辑磁盘,但每个人都有自己的私人记忆。这种方法在基于云的 DBMS 中更为常见。

数据库管理系统 的执行层可以独立于存储层进行扩展。

添加新的存储节点或执行节点不会影响数据在其他层中的布局或位置。

节点必须在它们之间发送消息以了解其他节点的当前状态。

也就是说,由于内存是本地,如果数据被修改,则在数据片段位于其他 CPU 的主内存。

节点有自己的缓冲池,被视为无状态。节点崩溃不会影响数据库,因为它单独存储在共享磁盘上。

5 数据库不共享任何内容

在无共享环境中,每个节点都有自己的 CPU、内存和磁盘。节点仅通信通过网络相互交流。

在此体系结构中增加容量更加困难,因为 管理系统 必须物理移动数据到新节点。

以确保数据库管理系统 中所有节点的一致性也很困难,因为节点必须在事务状态上相互协调。

然而,好处是没有共享任何东西,数据库管理系统有可能实现更好的性能,并且比其他类型的分布式数据库管理系统体系结构。

分布式数据库管理系统旨在保持数据透明度,这意味着用户不应该被要求知道数据的物理位置,或表的分区或复制方式。

数据如何形成的详细信息存储对应用程序隐藏。

换句话说,在单节点数据库管理系统 上工作的 SQL 查询应该在分布式数据库管理系统上工作相同。

分布式数据库系统必须解决的关键设计问题如下:

• 应用程序如何查找数据?
• 应该如何对分布式数据执行查询?
• 是否应将查询推送到数据的位置?
• 还是应该将数据汇集到一个公共位置以执行查询?
• DBMS 如何确保正确性?

6 小结

即使目前参与开发的项目体量都比较小,数据库性能问题还没有凸显。

但经过压力测试,提前对业务的大体量场景存在的性能障碍有了一定了解,

并且理解数据库管理系统的底层设计思路总是有好处的。

目录
相关文章
|
4天前
|
分布式计算 Java Hadoop
杨校老师课堂之分布式数据库HBase的部署和基本操作
杨校老师课堂之分布式数据库HBase的部署和基本操作
16 0
|
20天前
|
监控 NoSQL 数据建模
使用Apache Cassandra进行分布式数据库管理的技术实践
【6月更文挑战第5天】本文探讨了使用Apache Cassandra进行分布式数据库管理的技术实践。Cassandra是一款高性能、可扩展的NoSQL数据库,适合大规模、高并发场景。文章介绍了其高可扩展性、高性能、高可用性和灵活数据模型等核心特性,并详细阐述了环境准备、安装配置、数据建模与查询以及性能优化与监控的步骤。通过本文,读者可掌握Cassandra的运用,适应不断增长的数据需求。
|
19天前
|
存储 安全 关系型数据库
分布式数据库的性能和安全麻烦
【6月更文挑战第6天】该文探讨了分布式系统中节点交互的两种方式,并对比mysql和oracle两个数据库的CAP平衡模式。
43 0
分布式数据库的性能和安全麻烦
|
6天前
|
存储 NoSQL Java
HBase是一个开源的、分布式的、面向列的NoSQL数据库系统
HBase是一个开源的、分布式的、面向列的NoSQL数据库系统
23 0
|
1月前
|
关系型数据库 分布式数据库 PolarDB
【PolarDB开源】PolarDB开源之旅:从零开始搭建分布式数据库集群
【5月更文挑战第20天】PolarDB,阿里云自研的云原生分布式数据库,因其高性能、高可用和易用性备受瞩目。本文指导如何搭建PolarDB集群:准备硬件和软件环境,从GitHub克隆源码,构建Docker镜像,部署控制节点和计算节点,最后验证集群状态。通过开源,PolarDB旨在推动数据库技术进步,邀请用户一同探索其潜力,共创未来。
85 4
|
12天前
|
存储 分布式计算 Hadoop
【大数据】分布式数据库HBase下载安装教程
【大数据】分布式数据库HBase下载安装教程
25 0
|
12天前
|
存储 缓存 大数据
【大数据】分布式数据库HBase
【大数据】分布式数据库HBase
40 0
|
1月前
|
Cloud Native 数据管理 关系型数据库
【阿里云云原生专栏】云原生数据管理:阿里云数据库服务的分布式实践
【5月更文挑战第21天】阿里云数据库服务在云原生时代展现优势,应对分布式数据管理挑战。PolarDB等服务保证高可用和弹性,通过多副本机制和分布式事务确保数据一致性和可靠性。示例代码展示了在阿里云数据库上进行分布式事务操作。此外,丰富的监控工具协助用户管理数据库性能,支持企业的数字化转型和业务增长。
194 1
|
15天前
|
供应链 物联网 分布式数据库
区块链技术作为一种新兴的分布式数据库技术,正逐渐改变着我们的生产和生活方式。而智能合约作为区块链技术的重要应用之一
【6月更文挑战第10天】本文探讨了区块链技术与智能合约的界限及其带来的挑战。区块链,以其不可篡改性和安全性,已广泛应用于金融、供应链和物联网等领域。智能合约作为区块链的关键应用,实现了自动、安全和不可篡改的合约执行。然而,技术上的扩展性、性能问题和安全漏洞,以及法律监管的困境,构成了当前的主要挑战。尽管如此,随着技术进步和应用场景的拓宽,区块链与智能合约有望在未来发挥更大潜力。
57 0
|
1月前
|
存储 Cloud Native 关系型数据库
PolarDB-X 是面向超高并发、海量存储和复杂查询场景设计的云原生分布式数据库系统
【5月更文挑战第14天】PolarDB-X 是面向超高并发、海量存储和复杂查询场景设计的云原生分布式数据库系统
249 2