开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

源表设置正则表达式:全量完成之后增量过不来,大家遇到过没,flink cdc2.4.0版本?

源表设置正则表达式:egenie_goods.goods_businessprops\d+$
合并到一张表egenie_goods.goods_business_props_copy,全量完成之后增量过不来,大家遇到过没,flink cdc2.4.0版本?

展开
收起
真的很搞笑 2023-07-13 13:21:44 94 0
2 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    如果在 Flink CDC 2.4.0 版本中,使用了正则表达式来设置源表,可能会导致增量数据无法正确同步。这是因为 Flink CDC 在增量同步过程中,需要根据源表的主键信息来进行数据去重和更新操作,而正则表达式可能无法正确匹配主键信息,从而导致同步失败。

    为了解决这个问题,可以尝试以下两种方法:

    明确指定源表的主键信息:可以在 Flink CDC 中明确指定源表的主键信息,以便正确进行数据去重和更新操作。可以在 SQL 查询语句中使用 ROWTIME、ROWKEY 或者其他列名来指定主键信息,例如:

    Copy
    CREATE TABLE my_sink (
    ...
    ) WITH (
    ...
    'key.fields'='ROWKEY',
    ...
    );
    不使用正则表达式设置源表:可以不使用正则表达式来设置源表,而是直接指定具体的表名或者查询语句,以便正确识别源表的主键信息。例如:

    scheme
    Copy
    CREATE TABLE my_source (
    ...
    ) WITH (
    ...
    'connector'='jdbc',
    'url'='jdbc:mysql://localhost:3306/test',
    'table-name'='my_table',
    'username'='my_user',
    'password'='my_password',
    ...
    );
    需要注意的是,在使用 Flink CDC 同步数据时,需要确保源表和目标表的结构和数据类型一致,并且正确设置主键信息和分区信息等属性,以便正确进行数据同步。可以参考 Flink CDC 的官方文档和示例程序

    2023-07-29 22:58:42
    赞同 展开评论 打赏
  • 根据您的描述,您正在使用 Flink CDC 2.4.0 版本,并且尝试将符合正则表达式 egenie_goods.goods_businessprops\d+$ 的数据从源表(例如 egenie_goods.goods_businessprops123)合并到目标表 egenie_goods.goods_business_props_copy 中。但是在全量完成之后,增量数据无法过来。

    这个问题可能与 Flink CDC 的配置或数据库中的数据有关。您可以尝试以下几个步骤来解决问题:

    1. 检查正则表达式:首先,请确保您的正则表达式 egenie_goods.goods_businessprops\d+$ 能够正确匹配您源表的数据表名,以及增量数据是否符合预期。您可以使用一些在线正则表达式测试工具来验证正则表达式是否匹配您的数据表名。

    2. 检查 Flink CDC 配置:请检查您在 Flink CDC 应用程序中配置的源表和目标表的连接器、解析规则等是否正确。确保您已正确设置了源表和目标表的名称、字段映射和其他相关配置。

    3. 检查数据库中的数据:确认源表中的全量数据已经正确加载到目标表中。您可以通过查询目标表来验证数据是否成功写入。如果全量数据没有正确写入目标表,那么后续的增量数据也会受到影响。

    4. 检查增量数据的变化:如果全量数据已经成功写入目标表,但增量数据无法过来,请检查增量数据的变化情况。可能是因为增量数据中的某些字段或值发生了更改,导致无法满足 CDC 规则,从而无法正确合并到目标表中。

    另外,建议您查阅 Flink CDC 的官方文档,特别是针对正则表达式和 CDC 配置的部分,以确保您配置的正确性和兼容性。如果问题仍存在,请提供更多详细信息,例如 Flink CDC 应用程序的配置、日志文件中的错误消息等,以便更好地理解和排查问题。

    2023-07-29 21:42:29
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 覃立辉 立即下载
    Flink CDC Meetup PPT - 孙家宝 立即下载
    Flink CDC Meetup PPT - 徐榜江 立即下载