AI 助理
备案控制台
开发者社区 大数据与机器学习 实时计算 Flink 正文

Flink CDC中pgcdc的数据加载逻辑是怎么样的？

Flink CDC中pgcdc的数据加载逻辑是怎么样的，为什么的insert-time比较久的数据关联不上，明明能在数据库查到但是cdc却关联不是，时间比较新的就可以关联的上？

展开
收起
真的很搞笑 2023-09-20 12:39:02 104 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 清风拂袖

    Flink CDC 中， pgcdc 的数据加载逻辑如下：

    pgcdc 通过连接 PostgreSql 数据库，监听数据库的 binlog 日志。
    每当有一条新的 binlog 日志写入到数据库中，pgcdc 会读取该条日志，并解析其中的数据变更信息。
    pgcdc 会根据数据变更信息，生成一个 Flink Source 的输入记录。
    Flink Source 会将这些输入记录发送到 Flink 集群中。
    Flink 集群中的计算任务会对输入记录进行处理，并将处理结果写入到外部存储系统中。
    通过这种方式，Flink CDC 可以将 PostgreSQL 数据库中的数据实时同步到外部存储系统中。

    2023-10-18 10:42:59
    赞同 展开评论
问答分类：
数据库 流计算 实时计算 Flink版
问答标签：
实时计算 Flink版CDC 实时计算 Flink版逻辑 实时计算 Flink版cdc逻辑 实时计算 Flink版pgcdc 实时计算 Flink版cdc pgcdc
问答地址：
开发者社区 > 大数据与机器学习 > 实时计算 Flink > 问答
相关问答
实时计算 Flink版
flink1.14的网络缓存消胀机制，如果只是逻辑减少buffer的大小，这是不是会导致内存浪费?
185
2
0
Flink CDC3.0的源码应该是master吧,没有where条件相关的逻辑呀?
139
1
0
Flink 使用维表加在 MC 的数据 ，MC中的某条数据变更了，sql统计的逻辑会变更吗？
121
1
0
Flink这个是sql方式有额外的处理逻辑么？
59
1
0
在Flink CDC中，pgsql备库cdc，wal_level不改成逻辑的有啥方案嘛？
91
0
0
如果我增加TM的数量 那要提高作业并发度 改为3 那TM就是3=3/1Flink是这个逻辑吗？
65
1
0
flink作业逻辑非常复杂，启动时候超时失败怎么办？
120
1
0
有在产线上,通过flink-cdc 复制/同步 数据嘛,类似逻辑复制包括:DDL(表结构)/DML？
88
1
0
请问Flink能提供一些在代码逻辑之外，可以优化的参数吗？
62
1
0
对于Flink CDC，最后一次是对数据打宽的逻辑进行了微调，与cdc本身没有任何修改的，为什么？
46
1
0
大数据与机器学习

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。

我要提问

相关文章

  • 使用数据连接池进行数据库操作
  • flywa报错java.sql.SQLSyntaxErrorException: Unknown database ‘flyway‘
  • MyBatis 的映射关系
  • Healenium Java使用手册
  • healenium+python+selenium

    • 热门讨论

    热门文章

  • Flink CDC任务从savepoint/checkpoints状态中恢复作业错误问题
  • 请问如何用flink sql客户端用yarn application模式提交任务呢？
  • 请问下大家有没有遇到过这个错:Caused by: java.lang.ClassNotFoundE
  • flink的1cu是指1cpu还是1cpu+4g存储？
  • FlinkCDC MySQL 中 scan.startup.mode 用的是什么模式啊？
  • flink-CDC-3.0 mysql to doris 数据同步任务 经常报错
  • 在斗鱼，实时计算发展的历程如何？
  • Flink-CDC 文档网站地址是什么？
  • Flink CDC中，有哪位大佬有flink 版本和cdc版本的适配统计啊？
  • Flink CDC里用jdbc往达梦dm8推数据，老是显示字符被截断是咋回事？有人碰到过嘛？
    • 展开全部
  • 数据仓库介绍与实时数仓案例
  • 独家专访阿里集团副总裁贾扬清：我为什么选择加入阿里巴巴？
  • 实时计算 Flink SQL 核心功能解密
  • 流计算StreamCompute
  • 通过Flink实时构建搜索引擎的索引
  • 阿里云实时计算产品案例&解决方案汇总
  • 接着！！Apache Flink 全领域干货合集（持续更新）
  • 回顾 | Kafka x Flink Meetup 与世界人工智能大会大数据 AI 专场精彩回顾（附PPT下载）
  • Flink SQL 功能解密系列 —— 流式 TopN 挑战与实现
  • Flink SQL 功能解密系列 —— 流计算“撤回(Retraction)”案例分析
    • 展开全部
    还有其他疑问?
    咨询AI助理