PostgreSQL 分区表、继承表 记录去重方法

本文涉及的产品
云原生数据库 PolarDB MySQL 版,Serverless 5000PCU 100GB
云原生数据库 PolarDB 分布式版,标准版 2核8GB
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介: 标签PostgreSQL , 分区表 , 继承表 , 去重 , only背景当使用数据库分区或继承功能,在PK层面上出现分区与分区,或分区与主表出现了重复的键值时,可以通过tableoid进行甄别,同时通过ONLY TABLE的操作方法进行删除。

标签

PostgreSQL , 分区表 , 继承表 , 去重 , only


背景

当使用数据库分区或继承功能,在PK层面上出现分区与分区,或分区与主表出现了重复的键值时,可以通过tableoid进行甄别,同时通过ONLY TABLE的操作方法进行删除。

select tableoid::regclass  
  
delete|select|update|truncate only  

例子

创建测试表、继承分区,PK约束在独立的分区或主表上

postgres=# create table p (id int primary key, info text, crt_time timestamp);  
CREATE TABLE  
postgres=# create table p0 (like p including all) inherits(p);  
NOTICE:  merging column "id" with inherited definition  
NOTICE:  merging column "info" with inherited definition  
NOTICE:  merging column "crt_time" with inherited definition  
CREATE TABLE  
postgres=# create table p1 (like p including all) inherits(p);  
NOTICE:  merging column "id" with inherited definition  
NOTICE:  merging column "info" with inherited definition  
NOTICE:  merging column "crt_time" with inherited definition  
CREATE TABLE  
postgres=# create table p2 (like p including all) inherits(p);  
NOTICE:  merging column "id" with inherited definition  
NOTICE:  merging column "info" with inherited definition  
NOTICE:  merging column "crt_time" with inherited definition  
CREATE TABLE  
postgres=# create table p3 (like p including all) inherits(p);  
NOTICE:  merging column "id" with inherited definition  
NOTICE:  merging column "info" with inherited definition  
NOTICE:  merging column "crt_time" with inherited definition  
CREATE TABLE  

往不同的分区写入PK重复的数据

postgres=# insert into p values (1,'test',now());  
INSERT 0 1  
postgres=# insert into p0 values (1,'test',now());  
INSERT 0 1  
postgres=# insert into p1 values (1,'test',now());  
INSERT 0 1  
postgres=# insert into p2 values (1,'test',now());  
INSERT 0 1  

查询,你可能会不知道记录属于哪个表

postgres=# select * from p;  
 id | info |          crt_time            
----+------+----------------------------  
  1 | test | 2018-10-22 09:26:55.456769  
  1 | test | 2018-10-22 09:26:58.441338  
  1 | test | 2018-10-22 09:27:01.149731  
  1 | test | 2018-10-22 09:27:03.389089  
(4 rows)  

通过tableoid进行甄别

postgres=# select tableoid::regclass,* from p;  
 tableoid | id | info |          crt_time            
----------+----+------+----------------------------  
 p        |  1 | test | 2018-10-22 09:26:55.456769  
 p0       |  1 | test | 2018-10-22 09:26:58.441338  
 p1       |  1 | test | 2018-10-22 09:27:01.149731  
 p2       |  1 | test | 2018-10-22 09:27:03.389089  
(4 rows)  

直接指定PK删除主表时,会将所有记录删除。

postgres=# delete from p where id=1;  
DELETE 4  
postgres=# select tableoid::regclass,* from p;  
 tableoid | id | info | crt_time   
----------+----+------+----------  
(0 rows)  

delete|select|update|truncate only 清除指定分区的数据

https://www.postgresql.org/docs/11/static/sql-delete.html

通过only关键字,可以指定只操作当前表,不包括继承或子继承的表.

postgres=# insert into p values (1,'test',now());  
INSERT 0 1  
postgres=# insert into p0 values (1,'test',now());  
INSERT 0 1  
postgres=# insert into p1 values (1,'test',now());  
INSERT 0 1  
postgres=# insert into p2 values (1,'test',now());  
INSERT 0 1  
postgres=# delete from only p where id=1;  
DELETE 1  
postgres=# select tableoid::regclass,* from p;  
 tableoid | id | info |          crt_time            
----------+----+------+----------------------------  
 p0       |  1 | test | 2018-10-22 09:27:47.510151  
 p1       |  1 | test | 2018-10-22 09:27:49.366293  
 p2       |  1 | test | 2018-10-22 09:27:51.255673  
(3 rows)  
  
postgres=# delete from only p2 where id=1;  
DELETE 1  
postgres=# select tableoid::regclass,* from p;  
 tableoid | id | info |          crt_time            
----------+----+------+----------------------------  
 p0       |  1 | test | 2018-10-22 09:27:47.510151  
 p1       |  1 | test | 2018-10-22 09:27:49.366293  
(2 rows)  

如果是单张表内的数据去重,请参考末尾连接。

参考

《PostgreSQL 数据去重方法大全》

相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系,提升产品性能,打磨产品功能,从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手,打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系, 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台,为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案,提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
相关文章
|
7月前
|
SQL 监控 关系型数据库
PostgreSQL普通表转换成分区表
如何使用pg_rewrite扩展将普遍表转换成分区表
281 0
|
关系型数据库 PostgreSQL 索引
PostgreSQL 11 新特性解读:分区表支持创建主键、外键、索引
PostgreSQL 10 版本虽然支持创建范围分区表和列表分区表,但创建过程依然比较繁琐,需要手工定义子表索引、主键,详见 PostgreSQL10:重量级新特性-支持分区表,PostgreSQL 11 版本得到增强,在父表上创建索引、主键、外键后,子表上将自动创建,本文演示这三种场景。
6465 0
|
10月前
|
存储 SQL 运维
PolarDB MySQL大表实践-分区表篇
背景:分区表到底是什么?分区作为传统企业级数据库的特性,早已经在很多大数据和数仓场景中得到广泛应用。基于维基百科的解释,分区是将逻辑数据库或其组成元素如表、表空间等划分为不同的独立部分。数据库分区通常是出于可管理性、性能或可用性的原因,或者是为了负载平衡。它在分布式数据库管理系统中很流行,其中每个分区可能分布在多个节点上,节点上的用户在分区上执行本地事务。这提高了具有涉及某些数据视图的常规事务的站
339 0
PolarDB MySQL大表实践-分区表篇
|
存储 SQL 监控
16PostgreSQL 本地分区表的用法和优化|学习笔记
快速学习16PostgreSQL 本地分区表的用法和优化
394 0
16PostgreSQL 本地分区表的用法和优化|学习笔记
|
存储 SQL Cloud Native
直播预告 | PolarDB-X 动手实践系列—— PolarDB-X 的 TTL分区表功能介绍及原理解析
在某些业务场景下,数据库的数据会增量很快,并且数据热度随着时间推移会有明显的降低。如果数据一直存储在 PolarDB-X 中,既会占用存储空间,也会降低正常业务查询的效率。所以,需要有一个机制,能让冷数据定期地转移到其他成本更低的存储,以及让冷数据在 PolarDB-X 中自动删除,这就是TTL分区表。
直播预告 | PolarDB-X 动手实践系列—— PolarDB-X 的 TTL分区表功能介绍及原理解析
|
存储 SQL 运维
几种常见的MySQL/PolarDB-MySQL回收表空间方法对比
当我们频繁的删除表中的数据后,碎片就会变多,有经验的DBA就会回收表空间,回收表空间有好几种方式,我们要选择哪一种呢?
489 0
|
存储 SQL JSON
大分区表高并发性能提升100倍?阿里云 RDS PostgreSQL 12 特性解读
世界上几乎最强大的开源数据库系统 PostgreSQL,于 2019 年 10 月 3 日发布了 12 版本,该版本已经在阿里云正式发布。PostgreSQL 12 在功能和性能上都有很大提升,如大分区表高并发性能提升百倍,B-tree 索引空间和性能优化,实现 SQL 2016 标准的 JSON 特性,支持多列 MCV(Most-Common-Value)统计,内联 CTE(Common table expressions)以及可插拔的表存储访问接口等。本文对部分特性进行解读。
2003 0
大分区表高并发性能提升100倍?阿里云 RDS PostgreSQL 12 特性解读
|
SQL 弹性计算 算法
PostgreSQL 普通表在线转换为分区表 - online exchange to partition table
标签 PostgreSQL , 分区表 , 在线转换 背景 非分区表,如何在线(不影响业务)转换为分区表? 方法1,pg_pathman分区插件 《PostgreSQL 9.5+ 高效分区表实现 - pg_pathman》 使用非堵塞式的迁移接口 partition_table_concurrently( relation REGCLASS,
2505 0
|
SQL 存储 关系型数据库
PolarDB-X 1.0-用户指南-SQL调优指南—SQL调优方法与实战
找出需调优的慢SQL后,先通过EXPLAIN查看执行计划,然后通过如下方法优化SQL:下推更多计算至存储层MySQL,适当增加索引,优化执行计划。
111 0
|
SQL 算法 关系型数据库
PostgreSQL 普通表在线转换为分区表 - online exchange to partition table
PostgreSQL 普通表在线转换为分区表 - online exchange to partition table
2464 0

相关产品

  • 云原生数据库 PolarDB