PolarDB-X 数据 TTL 过期删除(三)| 学习笔记

本文涉及的产品
云原生数据库 PolarDB 分布式版,标准版 2核8GB
简介: 快速学习 PolarDB-X 数据 TTL 过期删除。

开发者学堂课程【PolarDB-X 开源分布式数据库进阶课程 :PolarDB-X 数据 TTL 过期删除(三)】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/1202/detail/18333


PolarDB-X 数据 TTL 过期删除


三、ttl 原理介绍

简单的说一下这一个表,这个表达式的话,它其实一个方言,感兴趣的话可以看一下这个表,你只要给他一个表达式,他会自动的来当你去计算他的含义,然后还是处于一些这样的可读的一些意思,刚刚都是 ttl 表的功能,这边如果大家对我们内核如何实现这么一些 dll 感兴趣的话,其实有个很方便的小技巧啊,我们在任何执行地调的时候都可以在他的前面加上一个 trace 指令,再进行一个收费式指令,它就可以显示出一个可视化的图,就像那右边展示的一样,这样的话就可以知道任何地点,他进行了哪些操作,他是以一个系列的 task 组成的,然后这些 task 跟我们开源代码中的 JAVA 源文件其实是对应的,然后也可以去通过这个方式来去我们的开源代码中搜索,相应的我去看看死机的代码,然后主要的代码的话,一些关键的类在 PPT 中展示,有兴趣的话可以按照这些信息来,是 polarDB-X 条语法它对应在我们每个物理表上创建出来的表,就会是这个样子。然后这边右边下面红框的范围其实就是因为我们左边定义了,所以他不会提前六个周期创建新的分区,然后红框上面的话是一些已有的分区,从 subway state 开始 Pay to local 跟 local partition 的内部逻辑其实就是这个滑动窗口的时间判断。那他做的时间判断之后,会把它翻译成针对我们数据节点上的一些对物理表的操作,对物理表的话其实是一个 reorganize 操作,比如说你要新建分区,其实就是把这个 pp max 这一个分区 organize 成多个的,但是力度的分区,那老的分区的话,其实就在会翻译成一个叫partition 的一个操作。

 

四、TTL 表的性能

最后再说一下这条表的性能,可能有些同学会顾虑到我们原先的物理表它是一个单表,但是用我的 ttl 表之后,我们所有的物理了都是变成一个分区表的,那这样会不会对我们的性能有所损害呢。其实经过测试的话,这是一个测试结果,可以发现对于程序数量越多,其实这个会下降。

image.png

最后再说一下这条表的性能,可能有些同学会顾虑到他原先的物理表它是一个单表,但是用的 ttl 表之后,我们所有的物理表都是变成一个分区表的,那这样会不会对我们的性能有所损害,其实,经过测试的话,这是一个测试结果,可以发现对于对于一个天天表相比于相同的表结构,但是不做贴条的划分,他的2t略有损伤,q S6有下降,但是是一个差距很小的一个情况,当然是97比100之类的,分区物理分区数量的越多,就是这个会下降的越多,但是整体的话,特别是检查场景是不会有太大差别的,那如果是全表扫描的话,刚刚说的是检查现在现在如果是全表扫描的话,他的q PS是会有一部分的下降的大平均的话大概会下降20%左右,但是如果你是一个范围查询,不是一个全表扫描的话,那我们知道他物理表其实也是有分区裁减的,他在特定场景上,他的性能其实有可能是反而会有所上升的,那最后的结论就是他的不管是按照物理根据划分,还是不用提前要表他物理表是一个单表,他的性能其实是不会有太多的差别的。

image.png

结论

当 DN 并未成为资源瓶颈时,Local Partition 表和普通表的性能差距很小。

不带 Local Partition 的拆分键时,性能损失约20%,最大吞吐量损失约50%(和分区成正比,数据量成及比)。

DN 资源够时,对客户端的变化是:RT 小幅增加。

带 Local Partition 的拆分键时,性能和吞吐量无明显差距,反而会有小幅提升。因为可以用时利用 INDEX 和PARTITION2 个线度做数据裁剪。

Local Partition 表,可利用拆分键时,AP 查询有优势。

相关实践学习
快速体验PolarDB开源数据库
本实验环境已内置PostgreSQL数据库以及PolarDB开源数据库:PolarDB PostgreSQL版和PolarDB分布式版,支持一键拉起使用,方便各位开发者学习使用。
相关文章
|
21天前
|
存储 人工智能 Cloud Native
云栖重磅|从数据到智能:Data+AI驱动的云原生数据库
在9月20日2024云栖大会上,阿里云智能集团副总裁,数据库产品事业部负责人,ACM、CCF、IEEE会士(Fellow)李飞飞发表《从数据到智能:Data+AI驱动的云原生数据库》主题演讲。他表示,数据是生成式AI的核心资产,大模型时代的数据管理系统需具备多模处理和实时分析能力。阿里云瑶池将数据+AI全面融合,构建一站式多模数据管理平台,以数据驱动决策与创新,为用户提供像“搭积木”一样易用、好用、高可用的使用体验。
云栖重磅|从数据到智能:Data+AI驱动的云原生数据库
|
4月前
|
SQL 关系型数据库 索引
关系型数据库SQLserver插入数据
【7月更文挑战第28天】
43 4
|
4月前
|
缓存 关系型数据库 分布式数据库
PolarDB产品使用问题之有时会读到表中过去已删除的数据,是什么原因
PolarDB产品使用合集涵盖了从创建与管理、数据管理、性能优化与诊断、安全与合规到生态与集成、运维与支持等全方位的功能和服务,旨在帮助企业轻松构建高可用、高性能且易于管理的数据库环境,满足不同业务场景的需求。用户可以通过阿里云控制台、API、SDK等方式便捷地使用这些功能,实现数据库的高效运维与持续优化。
|
1月前
|
存储 人工智能 Cloud Native
云栖重磅|从数据到智能:Data+AI驱动的云原生数据库
阿里云瑶池在2024云栖大会上重磅发布由Data+AI驱动的多模数据管理平台DMS:OneMeta+OneOps,通过统一、开放、多模的元数据服务实现跨环境、跨引擎、跨实例的统一治理,可支持高达40+种数据源,实现自建、他云数据源的无缝对接,助力业务决策效率提升10倍。
|
2月前
|
存储 人工智能 Cloud Native
云栖重磅|从数据到智能:Data+AI驱动的云原生数据库
阿里云数据库重磅升级!元数据服务OneMeta + OneOps统一管理多模态数据
|
3月前
|
存储 SQL Cloud Native
揭秘!PolarDB-X存储引擎如何玩转“时间魔术”?Lizard多级闪回技术让你秒回数据“黄金时代”!
【8月更文挑战第25天】PolarDB-X是一款由阿里巴巴自主研发的云原生分布式数据库,以其高性能、高可用性和出色的可扩展性著称。其核心竞争力之一是Lizard存储引擎的多级闪回技术,能够提供高效的数据恢复与问题诊断能力。本文通过一个电商公司的案例展示了一级与二级闪回技术如何帮助快速恢复误删的大量订单数据,确保业务连续性不受影响。一级闪回通过维护最近时间段内历史数据版本链,支持任意时间点查询;而二级闪回则通过扩展数据保留时间并采用成本更低的存储方式,进一步增强了数据保护能力。多级闪回技术的应用显著提高了数据库的可靠性和灵活性,为企业数据安全保驾护航。
47 1
|
3月前
|
关系型数据库 分布式数据库 数据库
基于PolarDB的图分析:通过表格将数据快速导入到图
本文介绍了使用 PolarDB PostgreSQL兼容版的AGE插件时,在大数据量下,快速导入数据的方法。可以快速将图数据库中亿级以上的节点和边快速导入到数据库中,避免了插入边时进行查询带来的性能瓶颈。
|
3月前
|
数据库 Windows
超详细步骤解析:从零开始,手把手教你使用 Visual Studio 打造你的第一个 Windows Forms 应用程序,菜鸟也能轻松上手的编程入门指南来了!
【8月更文挑战第31天】创建你的第一个Windows Forms (WinForms) 应用程序是一个激动人心的过程,尤其适合编程新手。本指南将带你逐步完成一个简单WinForms 应用的开发。首先,在Visual Studio 中创建一个“Windows Forms App (.NET)”项目,命名为“我的第一个WinForms 应用”。接着,在空白窗体中添加一个按钮和一个标签控件,并设置按钮文本为“点击我”。然后,为按钮添加点击事件处理程序`button1_Click`,实现点击按钮后更新标签文本为“你好,你刚刚点击了按钮!”。
269 0
|
4月前
|
关系型数据库 MySQL 分布式数据库
PolarDB产品使用问题之在执行ALTER TABLE语句后,备份数据的物理空间占用增加,是什么原因
PolarDB产品使用合集涵盖了从创建与管理、数据管理、性能优化与诊断、安全与合规到生态与集成、运维与支持等全方位的功能和服务,旨在帮助企业轻松构建高可用、高性能且易于管理的数据库环境,满足不同业务场景的需求。用户可以通过阿里云控制台、API、SDK等方式便捷地使用这些功能,实现数据库的高效运维与持续优化。
|
3月前
|
SQL 关系型数据库 数据库