开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC中postgres再快照阶段会出现字段变为小写导致无法读表什么原因?

"Flink CDC中postgres再快照阶段会出现字段变为小写导致无法读表,但是到了增量阶段又可以正常同步。这是我少设了什么参数导致的吗?
a299b89e039644dafc2f4d5cac8d8ea9.png
但实际上在初始化时候字段是正常的,不知道是在哪一步就变为了小写。
我猜应该是在chunk时候提交时候没加双引号,但设置了chunkKeyColumn也不行,只有在全量读表阶段会报这个错,如果一开始没数据,后写入的数据程序能正常跑。
efeae77fae0eaaaa23aa0d25e217eac9.png
感觉像个bug。"

展开
收起
小易01 2023-08-16 08:00:49 131 0
1 条回答
写回答
取消 提交回答
  • PostgreSQL 的数据库字段名大小写是敏感的,如果在定义表结构时使用了小写字段名,那么在使用 Flink CDC 读取数据时,就有可能出现字段名变为小写导致无法读取表的情况。

    要解决这个问题,可以通过以下方法之一:

    在定义表结构时,使用大写字段名。
    在 Flink CDC 的配置中,设置 cdc.field.name.format 为 strict。这样,Flink CDC 在读取数据时会将字段名转换为大写。
    在 Flink CDC 的配置中,设置 cdc.column.case.insensitive 为 true。这样,Flink CDC 在读取数据时会忽略字段名的大小写。
    具体使用哪种方法,需要根据实际情况来选择。

    2023-09-22 11:14:47
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载