开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC中cdc 监控pg的时候是不是不用创建发布名?

Flink CDC中cdc 监控pg的时候是不是不用创建发布名,我看到我程序一起动自动就出来了一个dbz_publication。

展开
收起
十一0204 2023-07-26 08:04:12 167 0
2 条回答
写回答
取消 提交回答
  • 在 Flink CDC 中监控 PostgreSQL 数据库时,确实不需要手动创建发布(publication)。当你启动 Flink CDC 程序时,它会自动创建名为 "dbz_publication" 的发布。

    这是因为 Flink CDC 使用 Debezium 作为其核心引擎来进行数据库的 Change Data Capture(CDC),而 Debezium 通过监听 PostgreSQL 数据库的逻辑复制插槽(logical replication slot)来获取变更数据。为了确保正确地使用逻辑复制插槽,Flink CDC 会自动创建一个发布,并与该插槽进行关联。

    这个自动生成的 "dbz_publication" 发布用于配置和管理逻辑复制插槽,以便从 PostgreSQL 数据库获取变更数据。

    2023-07-31 23:20:23
    赞同 展开评论 打赏
  • 北京阿里云ACE会长

    在 Flink CDC 中,要监控 PostgreSQL 数据库的变化,可以使用 PostgreSQL 的逻辑复制功能。在使用 CDC 监控 PostgreSQL 数据库时,确实不需要创建发布名(Publication Name)。
    在 PostgreSQL 中,逻辑复制的流程是这样的:
    在源数据库中创建逻辑复制槽(Logical Replication Slot)。
    在源数据库中创建复制流(Replication Stream)。
    将复制流中的数据发送到目标数据库。
    在目标数据库中消费复制流中的数据。
    在 Flink CDC 中,可以通过配置 PostgreSQL 的连接信息和复制流参数,来监控 PostgreSQL 数据库的变化。具体来说,需要配置以下参数:
    connector.type: 数据源类型,设置为 postgresql-cdc
    connector.startup-mode: 启动模式,设置为 earliest-offset 或者 latest-offset
    connector.host: PostgreSQL 数据库的主机名或 IP 地址
    connector.port: PostgreSQL 数据库的端口号
    connector.database: PostgreSQL 数据库名称
    connector.user: PostgreSQL 数据库的用户名
    connector.password: PostgreSQL 数据库的密码
    connector.slot.name: 逻辑复制槽名称,可以自定义
    connector.plugin.name: 复制插件名称,设置为 pgoutput
    connector.table.blacklist: 不需要监控的表名列表,

    2023-07-29 16:44:50
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载