【DB吐槽大会】第33期 - PG 逻辑复制不支持DDL

简介: 大家好,这里是DB吐槽大会,第33期 - PG 逻辑复制不支持DDL

背景


1、产品的问题点

  • PG 逻辑复制不支持DDL

2、问题点背后涉及的技术原理

  • DDL无法从WAL中解析, 因此逻辑复制不能支持DDL.

3、这个问题将影响哪些行业以及业务场景

  • 使用逻辑复制的业务, 例如单元化部署, 同步数据到其他单元. 同步数据到OLAP业务库, 同步到消息队列, 同步到搜索引擎等.

4、会导致什么问题?

  • 当数据结构发生变化后, 无法捕获这个变化, 使得逻辑同步出现异常.

5、业务上应该如何避免这个坑

  • 统一协调管理DDL, 使用barrier, 在执行DDL前确保下游已同步完所有增量, 然后上下游执行DDL, 并放开barrier, 允许DML操作.
  • 如果是PG到PG的同步, 可以使用event trigger捕获DDL, 存储在表中, 这个表的内容作为DML解析传到下游订阅节点. 下游订阅节点在这个表上创建触发器, 在触发器内完成DDL回放.

6、业务上避免这个坑牺牲了什么, 会引入什么新的问题

  • 复杂度增加了, 一般用户搞不定

7、数据库未来产品迭代如何修复这个坑

  • 希望内置DDL同步功能.



相关文章
|
SQL 自然语言处理 监控
PostgreSQL插件汇总
一专多长的数据库——PostgreSQL
3549 0
|
数据可视化 PyTorch 算法框架/工具
使用PyTorch搭建VGG模型进行图像风格迁移实战(附源码和数据集)
使用PyTorch搭建VGG模型进行图像风格迁移实战(附源码和数据集)
1532 1
|
4月前
|
人工智能 自然语言处理 安全
AI术语看不懂?这24个核心概念,帮你把AI底层逻辑一次讲清
本文系统梳理AI领域24个核心概念,分四层解析:基础认知(如Token、大模型)、使用交互(Prompt、CoT)、工程架构(RAG、LoRA、Transformer)与进阶能力(Agent、多模态)。拒绝空谈,直击本质,帮你构建真正可用的AI认知框架。
|
数据安全/隐私保护
Solid Converter PDF v10 安装及使用教程
Solid Converter PDF v10 安装及使用教程
2271 0
|
传感器 自动驾驶 算法
SLAM:SLAM(即时定位与地图构建)的简介、发展、案例应用之详细攻略
SLAM:SLAM(即时定位与地图构建)的简介、发展、案例应用之详细攻略
|
6月前
|
弹性计算 数据可视化 网络安全
阿里云服务器管理控制台在哪?终于找到了,控制台超级好用
阿里云服务器控制台是管理ECS与轻量应用服务器的可视化后台,支持重启、远程连接、重装系统、备份、配置调整等操作。ECS控制台入口:ecs.console.aliyun.com;轻量服务器入口:swasnext.console.aliyun.com。(239字)
1573 3
|
SQL 监控 关系型数据库
实时计算 Flink版操作报错合集之在设置监控PostgreSQL数据库时,将wal_level设置为logical,出现一些表更新和删除操作报错,怎么办
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
|
SQL 关系型数据库 MySQL
MySQL——如何查看MySQL登录日志
MySQL——如何查看MySQL登录日志
1397 0
|
存储 算法 大数据
认识操作系统段页式存储
存储管理负责高效地分配、管理和回收计算机的内存资源。这一过程对于确保计算机系统的稳定性、性能和可扩展性至关重要。
694 0