《PolarDB-X开源分布式数据库实战进阶》——PolarDB-X冷热数据归档(2)

本文涉及的产品
云原生数据库 PolarDB MySQL 版,Serverless 5000PCU 100GB
简介: 《PolarDB-X开源分布式数据库实战进阶》——PolarDB-X冷热数据归档(2)

《PolarDB-X开源分布式数据库实战进阶》——PolarDB-X冷热数据归档(1) https://developer.aliyun.com/article/1228565?groupCode=polardbforpg



image.png

 

数据的迁移流程如下:

 

从DN抽取需过期的数据,将数据传到CN节点,并往CN的本地磁盘写入ORC文件。异步地将写好的文件从本地磁盘装载到CN中,上传至OSS。使用DN上的数据与OSS数据做校验。

 

整个流程具有原子性保证,任何一步出错都会使整个迁移任务回滚,保证不会有任何残留。另外,数据校验是基于哈希的快速校验,可以保证数据的一致性。

 

迁移过程中,无论是CN宕机还是DN宕机,都可实现断点续传,而不是整个流程从头开始。由于迁移过程有比较强的性能要求,对DN和CN的压力较大,因此会在第二步构建时进行限速。迁移过程支持多个CN并行执行,实现线性加速。冷数据也可以轻松往InnoDB迁移。

 

image.png

 

TP查询能够实现较高的QPS,主要得益于裁剪能力。比如只需要访问一个列,则只需要从OSS上拉取一个列(列裁剪)。另外,在CN上做了分片后,可以将不需要访问的分片进行裁剪,继而无需访问所有ORC文件。

 

Orc文件本身是有MinMax、BloomFilter的剪裁能力,可以借助统计信息直接进行裁剪。

 

Demo演示

 

进入云起实验室“PolarDB-X冷热数据归档”课程,在实验页面点击“创建资源”,系统会自动创建ECS。

 

image.png

 

点击页面右上角切换到web terminal图标。

 

image.png

 

分别执行启动Docker、切换到galaxykube账号下启动minikube,集群创建成功,查看信息。再根据实验步骤安装operator,部署PolarDB-X集群。

 

image.png

 

连接PolarDB-X集群。首先查看端口、PolarDB-X集群的地址以及密码,连接数据库。

 

image.png




 《PolarDB-X开源分布式数据库实战进阶》——PolarDB-X冷热数据归档(3) https://developer.aliyun.com/article/1228562?groupCode=polardbforpg

相关实践学习
Polardb-x 弹性伸缩实验
本实验主要介绍如何对PolarDB-X进行手动收缩扩容,了解PolarDB-X 中各个节点的含义,以及如何对不同配置的PolarDB-x 进行压测。
相关文章
|
22天前
|
关系型数据库 分布式数据库 PolarDB
电子书阅读分享《PolarDB开发者大会:分布式的PolarDB》
电子书阅读分享《PolarDB开发者大会:分布式的PolarDB》
22 6
|
26天前
|
存储 关系型数据库 分布式数据库
选300平米别墅还是90平米小平层?一文带你读懂PolarDB分布式版集分一体化
1月17日,在阿里云PolarDB开发者大会上,阿里云PolarDB分布式产品部负责人黄贵发表了《分布式的PolarDB:分布式的能力,一体化的体验》主题演讲。
|
27天前
|
关系型数据库 分布式数据库 数据库
阿里云瑶池数据库训练营权益:PolarDB开发者大会主题资料开放下载!
阿里云瑶池数据库训练营权益:PolarDB开发者大会主题资料开放下载!
|
3天前
|
关系型数据库 MySQL 分布式数据库
PolarDB for MySQL数据库外网连接解析失败的原因
【2月更文挑战第5天】PolarDB for MySQL数据库外网连接解析失败的原因
52 8
|
5天前
|
Cloud Native 关系型数据库 分布式数据库
推荐你使用数据库排行榜第一的PolarDB
数据库大家都使用的,才是最好的,有足够多的案例和样本。
29469 15
|
5天前
|
SQL 关系型数据库 分布式数据库
|
19天前
|
关系型数据库 分布式数据库 PolarDB
电子书阅读分享《PolarDB开发者大会:分布式的PolarDB》
电子书阅读分享《PolarDB开发者大会:分布式的PolarDB》
16 4
|
20天前
|
SQL 存储 关系型数据库
MySQL技能完整学习列表——1、数据库基础概念——1、关系型数据库(Relational Database)
MySQL技能完整学习列表——1、数据库基础概念——1、关系型数据库(Relational Database)
129 0
|
21天前
|
关系型数据库 分布式数据库 PolarDB
电子书阅读分享《PolarDB开发者大会:分布式的PolarDB》
电子书阅读分享《PolarDB开发者大会:分布式的PolarDB》
|
21天前
|
关系型数据库 分布式数据库 数据库
PolarDB for PostgreSQL报错问题之psql连接数据库报错如何解决
PolarDB for PostgreSQL是基于PostgreSQL开发的一款云原生关系型数据库服务,它提供了高性能、高可用性和弹性扩展的特性;本合集将围绕PolarDB(pg)的部署、管理和优化提供指导,以及常见问题的排查和解决办法。

热门文章

最新文章

相关产品

  • 云原生数据库 PolarDB