开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC如果库里面存在无主键表的话就直接把作业kill掉了?

Flink CDC监控的表配置的是database.* ,如果库里面存在无主键表的话就直接把作业kill掉了?flink cdc没法做到忽略异常,不杀死作业吗?096774d94fba75c2c39e9fd19c54c9c0.jpg

展开
收起
真的很搞笑 2023-11-22 07:51:34 72 0
3 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    对于 Flink CDC 监控的任务来说,当其监测的对象为无主键的表时,的确可能会导致作业失败或者停止。这是因为 Flink CDC 需要依赖表中的主键来唯一标识每条记录,并以此为基础来处理事务和并发控制等操作。
    因此,在这种情况下,建议您尽可能为需要监控的表添加一个主键,以便更好地支持 Flink CDC 的工作流程。
    如果无法更改表结构,则可以选择以下几种应对措施:

    1. 可以通过扩展 Flink CDC 功能来支持无主键表的监控。例如,可以自定义 Flink CDC 中的 Source 类,并为其提供一个合适的主键生成算法。
    2. 使用其他的 CDC 技术来替代 Flink CDC。例如,有些 CDC 技术不需要依赖主键就能实现数据捕获和监控的功能。
    3. 如果业务允许,可以将无主键表的数据拆分为多个子表,然后为每个子表分配一个唯一的主键。
    2023-11-29 15:19:12
    赞同 展开评论 打赏
  • 你自己判断不出来的话,无法屏蔽无主键表,此回答整理自钉群“Flink CDC 社区”

    2023-11-22 11:59:30
    赞同 展开评论 打赏
  • Flink CDC 在监控表配置时,如果遇到无主键的表并不会直接杀掉作业。但是,为了更好地捕获和处理变更数据,建议为源表设置主键或唯一键。这样可以帮助Flink CDC更准确地识别和跟踪数据的变化。Flink社区开发的flink-cdc-connectors组件可以直接从MySQL、PostgreSQL等数据库中读取全量数据和增量变更数据。此外,为了确保Flink CDC能够正常工作,还需要确保对应的数据库binlog功能已经开启。

    2023-11-22 10:19:54
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 覃立辉 立即下载
    Flink CDC Meetup PPT - 孙家宝 立即下载
    Flink CDC Meetup PPT - 徐榜江 立即下载