PostgreSQL merge insert(upsert/insert into on conflict) 如何区分数据是INSERT还是UPDATE

简介: postgresql merge insert

背景
使用insert into on conflict update语法,可以支持UPSERT的功能,但是到底这条SQL是插入的还是更新的呢?如何判断

通过xmax字段的值是否不为0,可以判断,如果是UPDATE,XMAX里面会填充更新事务号。

注意直接用UPDATE语句更新的话,XMAX会写入0,因为是新版本,而老版本上XMAX会填入更新事务号。

例子
1 insert on conflict
postgres=# create table t(id int primary key, info text, crt_time timestamp);
CREATE TABLE
postgres=# insert into t values (1,'test',now()) on conflict (id) do update set info=excluded.info,crt_time=excluded.crt_time returning xmax;

xmax

0  

(1 row)

INSERT 0 1
postgres=# insert into t values (1,'test',now()) on conflict (id) do update set info=excluded.info,crt_time=excluded.crt_time returning xmax;

xmax

160369640
(1 row)

INSERT 0 1
postgres=# select xmin,xmax,* from t;

xmin xmax id info crt_time
160369640 160369640 1 test 2018-10-17 12:09:38.760926

(1 row)

postgres=# insert into t values (1,'test',now()) on conflict (id) do update set info=excluded.info,crt_time=excluded.crt_time returning xmax;

xmax

160369641
(1 row)

INSERT 0 1
postgres=# select xmin,xmax,* from t;

xmin xmax id info crt_time
160369641 160369641 1 test 2018-10-17 12:10:11.738691

(1 row)

postgres=# insert into t values (2,'test',now()) on conflict (id) do update set info=excluded.info,crt_time=excluded.crt_time returning xmax;

xmax

0  

(1 row)

INSERT 0 1
postgres=# select xmin,xmax,* from t;

xmin xmax id info crt_time
160369641 160369641 1 test 2018-10-17 12:10:11.738691
160369642 0 2 test 2018-10-17 12:10:24.758745

(2 rows)

postgres=# select ctid,xmin,xmax,* from t;

ctid xmin xmax id info crt_time
(0,3) 160369641 160369641 1 test 2018-10-17 12:10:11.738691
(0,4) 160369642 0 2 test 2018-10-17 12:10:24.758745

(2 rows)

postgres=# insert into t values (2,'test',now()) on conflict (id) do update set info=excluded.info,crt_time=excluded.crt_time returning ctid,xmin,xmax,*;

ctid xmin xmax id info crt_time
(0,5) 160369643 160369643 2 test 2018-10-17 12:10:45.951351

(1 row)

INSERT 0 1
postgres=# select ctid,xmin,xmax,* from t;

ctid xmin xmax id info crt_time
(0,3) 160369641 160369641 1 test 2018-10-17 12:10:11.738691
(0,5) 160369643 160369643 2 test 2018-10-17 12:10:45.951351

(2 rows)
2 直接update
postgres=# update t set info='a' returning xmin,xmax,ctid,*;

xmin xmax ctid id info crt_time
160369644 0 (0,6) 1 a 2018-10-17 12:10:11.738691
160369644 0 (0,7) 2 a 2018-10-17 12:10:45.951351

(2 rows)

UPDATE 2
3 update 回滚
postgres=# begin;
BEGIN
postgres=# update t set info='a' returning xmin,xmax,ctid,*;

xmin xmax ctid id info crt_time
160369645 0 (0,8) 1 a 2018-10-17 12:10:11.738691
160369645 0 (0,9) 2 a 2018-10-17 12:10:45.951351

(2 rows)

UPDATE 2
postgres=# rollback;
ROLLBACK
postgres=# select ctid,xmin,xmax,* from t;

ctid xmin xmax id info crt_time
(0,6) 160369644 160369645 1 a 2018-10-17 12:10:11.738691
(0,7) 160369644 160369645 2 a 2018-10-17 12:10:45.951351

(2 rows)
4 delete 回滚
postgres=# begin;
BEGIN
postgres=# delete from t returning ctid,xmin,xmax,*;

ctid xmin xmax id info crt_time
(0,6) 160369644 160369646 1 a 2018-10-17 12:10:11.738691
(0,7) 160369644 160369646 2 a 2018-10-17 12:10:45.951351

(2 rows)

DELETE 2
postgres=# rollback;
ROLLBACK
postgres=# select ctid,xmin,xmax,* from t;

ctid xmin xmax id info crt_time
(0,6) 160369644 160369646 1 a 2018-10-17 12:10:11.738691
(0,7) 160369644 160369646 2 a 2018-10-17 12:10:45.951351

(2 rows)
小结
1、insert into on conflict do update,返回xmax不等于0,表示update,等于0表示insert。

2、直接update,并提交,提交的记录上xmax为0。

3、直接update,并回滚,老版本上的XMAX不为0,表示更新该行的事务号。

4、直接DELETE,并回滚,老版本上的XMAX不为0,表示删除该行的事务号。

ctid表示行号, xmin表示INSERT该记录的事务号,xmax表示删除该记录(update实际上是删除老版本新增新版本,所以老版本上xmax有值)的事务号。

参考
《Greenplum & PostgreSQL UPSERT udf 实现 - 2 batch批量模式》

《Greenplum & PostgreSQL UPSERT udf 实现 - 1 单行模式》

《PostgreSQL 多重含义数组检索与条件过滤 (标签1:属性, 标签n:属性) - 包括UPSERT操作如何修改数组、追加数组元素》

《HTAP数据库 PostgreSQL 场景与性能测试之 22 - (OLTP) merge insert|upsert|insert on conflict|合并写入》

《PostgreSQL upsert功能(insert on conflict do)的用法》

《PostgreSQL 如何实现upsert与新旧数据自动分离》

《[转载]postgresql 9.5版本之前实现upsert功能》

《upsert - PostgreSQL 9.4 pending patch : INSERT...ON DUPLICATE KEY IGNORE》

相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍如何基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系,提升产品性能,打磨产品功能,从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手,打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系, 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台,为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案,提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
目录
相关文章
|
SQL Oracle 关系型数据库
实时计算 Flink版操作报错之往GREENPLUM 6 写数据,用postgresql-42.2.9.jar 报 ON CONFLICT (uuid) DO UPDATE SET 语法有问题。怎么解决
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
|
运维 Cloud Native 关系型数据库
云原生数据仓库产品使用合集之原生数据仓库AnalyticDB PostgreSQL版如果是列存表的话, adb支持通过根据某个字段做upsert吗
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。
|
SQL 关系型数据库 数据库
postgresql报:ERROR: column “i“ of relation “test“ does not exist LINE 1: UPDATE怎么解决?
解决“ERROR: column "i" of relation "test" does not exist”错误的关键在于核实列名的准确性,修正更新语句,确保列名的引用正确无误,并考虑到任何可能影响列名引用的表别名、大小写、特殊字符或动态SQL生成等因素。通过上述步骤,你应该能有效定位并解决问题,保证SQL语句的正确执行。
1208 0
|
关系型数据库 PostgreSQL
postgresql insert into插入记录时使用select子查询
postgresql insert into插入记录时使用select子查询
317 0
|
关系型数据库 PostgreSQL
postgresql通过select结果进行update
postgresql通过select结果进行update
244 0
|
关系型数据库 PostgreSQL
PostgreSQL INSERT INTO 语句
PostgreSQL INSERT INTO 语句
559 0
|
SQL 弹性计算 关系型数据库
PostgreSQL 大宽表,全列索引,高并发合并写入(insert into on conflict, upsert, merge insert) - 实时adhoc query
标签 PostgreSQL , 全列索引 , 大宽表 , 写测试 , insert on conflict , upsert , merge insert , adhoc query 背景 OLAP系统中,adhoc query非常场景(任意维度查询分析)。 adhoc query,通常来说,可以加GIN倒排,或者每一列都加一个索引来实现。 《PostgreSQL 设计优化case
8986 0
|
SQL 关系型数据库 PostgreSQL
postgresql模糊查询不区分大小写
本人当时找了无数文章都没解决,后面才发现pg有ilike这个关键字,书读少了好吃亏的(小声逼逼) 除此之外还可以通过upper()函数来搞
654 0
|
7月前
|
存储 关系型数据库 测试技术
拯救海量数据:PostgreSQL分区表性能优化实战手册(附压测对比)
本文深入解析PostgreSQL分区表的核心原理与优化策略,涵盖性能痛点、实战案例及压测对比。首先阐述分区表作为继承表+路由规则的逻辑封装,分析分区裁剪失效、全局索引膨胀和VACUUM堆积三大性能杀手,并通过电商订单表崩溃事件说明旧分区维护的重要性。接着提出四维设计法优化分区策略,包括时间范围分区黄金法则与自动化维护体系。同时对比局部索引与全局索引性能,展示后者在特定场景下的优势。进一步探讨并行查询优化、冷热数据分层存储及故障复盘,解决分区锁竞争问题。
936 2
|
关系型数据库 分布式数据库 PolarDB
《阿里云产品手册2022-2023 版》——PolarDB for PostgreSQL
《阿里云产品手册2022-2023 版》——PolarDB for PostgreSQL
573 0

推荐镜像

更多