《云原生一站式数据库技术与实践》——一、云原生分布式数据库PolarDB-X技术架构(5)

本文涉及的产品
RDS MySQL DuckDB 分析主实例,集群系列 4核8GB
RDS AI 助手,专业版
RDS MySQL DuckDB 分析主实例,基础系列 4核8GB
简介: 《云原生一站式数据库技术与实践》——一、云原生分布式数据库PolarDB-X技术架构(5)

《云原生一站式数据库技术与实践》——一、云原生分布式数据库PolarDB-X技术架构(4) https://developer.aliyun.com/article/1231701?groupCode=aliyundb



二级分区使用灵活,支持与一级分区一样多的分区策略,是完全正交的策略。而且可以任意组合,支持模板化和非模板化的方式,能够实现精细化控制。比如二级分区可以对所有一级分区制定统一的规则,将每个一级分区都分为5 个子分区,也可以只将某一个分区分为5 个分区,其他一级分区不变,这样的模式可以根据业务特点进行灵活的调整,也能够避免分区数量无限膨胀。



image.png


分布式带来的好处在于在企业级能力上提供了一致性保证,利用Paxos+2PC 实现了任何时候都有数据强一致的保证。



Paxos 主要用于DN 的复制组,保证数据副本之间的一致性。MVCC 加2PC 的分布式事务的方式保证了外部的一致性。TSO 用于做Snapshot 隔离级别、事务隔离级别的一致性保证,其优势在于,做只读事务时,无需对数据进行加速,通过快照也可以读到一致的数据视图,不会读到某个部分的事务。


image.png



企业级能力这一层做了一体化,包括分布式一体化以及在线与历史归档数据一体化。数据在分布式系统里的体量非常大,且很多数据均有明显的冷热区隔。为了降低成本,我们实现了自动归档的能力。



归档过程全自动化,在建表时指定数据过期规则,会将过期数据自动建好分区进行归档,存储到低成本的OSS 存储里。自动归档也会对冷数据的做压缩,大幅降低数据容量,结合OSS 低成本的混合存储方式,相对在线数据的成本有20 倍下降。


过期的分区可以作为外表做在线查询,即对历史归档数据一样可以与在线数据做混合查询。


image.png




《云原生一站式数据库技术与实践》——一、云原生分布式数据库PolarDB-X技术架构(6) https://developer.aliyun.com/article/1231697?groupCode=aliyundb


目录
相关文章
|
9月前
|
人工智能 Kubernetes 数据可视化
Kubernetes下的分布式采集系统设计与实战:趋势监测失效引发的架构进化
本文回顾了一次关键词监测任务在容器集群中失效的全过程,分析了中转IP复用、调度节奏和异常处理等隐性风险,并提出通过解耦架构、动态IP分发和行为模拟优化采集策略,最终实现稳定高效的数据抓取与分析。
162 2
Kubernetes下的分布式采集系统设计与实战:趋势监测失效引发的架构进化
|
6月前
|
缓存 Cloud Native 中间件
《聊聊分布式》从单体到分布式:电商系统架构演进之路
本文系统阐述了电商平台从单体到分布式架构的演进历程,剖析了单体架构的局限性与分布式架构的优势,结合淘宝、京东等真实案例,深入探讨了服务拆分、数据库分片、中间件体系等关键技术实践,并总结了渐进式迁移策略与核心经验,为大型应用架构升级提供了全面参考。
|
7月前
|
Cloud Native 关系型数据库 MySQL
免费体验!高效实现自建 MySQL 数据库平滑迁移至 PolarDB-X
PolarDB-X 是阿里云推出的云原生分布式数据库,支持PB级存储扩展、高并发访问与数据强一致,助力企业实现MySQL平滑迁移。现已开放免费体验,点击即享高效、稳定的数据库升级方案。
免费体验!高效实现自建 MySQL 数据库平滑迁移至 PolarDB-X
|
6月前
|
人工智能 Cloud Native 关系型数据库
云栖重磅|瑶池数据库:从云原生数据底座向“AI就绪”的多模态数据底座演进
瑶池数据库:从云原生数据底座向“AI就绪”的多模态数据底座演进
|
6月前
|
存储 NoSQL 前端开发
【赵渝强老师】MongoDB的分布式存储架构
MongoDB分片通过将数据分布到多台服务器,实现海量数据的高效存储与读写。其架构包含路由、配置服务器和分片服务器,支持水平扩展,结合复制集保障高可用性,适用于大规模生产环境。
460 1
|
7月前
|
关系型数据库 MySQL 分布式数据库
阿里云PolarDB云原生数据库收费价格:MySQL和PostgreSQL详细介绍
阿里云PolarDB兼容MySQL、PostgreSQL及Oracle语法,支持集中式与分布式架构。标准版2核4G年费1116元起,企业版最高性能达4核16G,支持HTAP与多级高可用,广泛应用于金融、政务、互联网等领域,TCO成本降低50%。
|
10月前
|
监控 算法 关系型数据库
分布式事务难题终结:Seata+DRDS全局事务一致性架构设计
在分布式系统中,CAP定理限制了可用性、一致性与分区容错的三者兼得,尤其在网络分区时需做出取舍。为应对这一挑战,最终一致性方案成为常见选择。以电商订单系统为例,微服务化后,原本的本地事务演变为跨数据库的分布式事务,暴露出全局锁失效、事务边界模糊及协议差异等问题。本文深入探讨了基于 Seata 与 DRDS 的分布式事务解决方案,涵盖 AT 模式实践、分片策略优化、典型问题处理、性能调优及高级特性实现,结合实际业务场景提供可落地的技术路径与架构设计原则。通过压测验证,该方案在事务延迟、TPS 及失败率等方面均取得显著优化效果。
500 61
|
11月前
|
监控 Linux 应用服务中间件
Linux多节点多硬盘部署MinIO:分布式MinIO集群部署指南搭建高可用架构实践
通过以上步骤,已成功基于已有的 MinIO 服务,扩展为一个 MinIO 集群。该集群具有高可用性和容错性,适合生产环境使用。如果有任何问题,请检查日志或参考MinIO 官方文档。作者联系方式vx:2743642415。
3540 57
|
10月前
|
关系型数据库 MySQL 分布式数据库
Super MySQL|揭秘PolarDB全异步执行架构,高并发场景性能利器
阿里云瑶池旗下的云原生数据库PolarDB MySQL版设计了基于协程的全异步执行架构,实现鉴权、事务提交、锁等待等核心逻辑的异步化执行,这是业界首个真正意义上实现全异步执行架构的MySQL数据库产品,显著提升了PolarDB MySQL的高并发处理能力,其中通用写入性能提升超过70%,长尾延迟降低60%以上。
|
10月前
|
关系型数据库 MySQL 分布式数据库

相关产品

  • 云原生分布式数据库 PolarDB-X
  • 云原生数据库 PolarDB