开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

使用Flink CDC 2.2.1,请问有人遇到过这个问题么?

使用Flink CDC 2.2.1,做FlinkCDC Oracle 11g的cdc时,如果源表中含有Clob字段,会出现部分数据丢失的问题。请问有人遇到过这个问题么?这要怎么处理呀?image.png
源表是有数据的,cdc到kafka,部分记录变成null了

展开
收起
真的很搞笑 2023-11-07 19:33:51 60 0
1 条回答
写回答
取消 提交回答
  • 在使用Flink CDC连接到Oracle数据库时,如果源表包含CLOB字段,确实可能会出现数据丢失的问题。这可能是由于Flink CDC在处理CLOB字段时的某些限制或问题导致的。

    要解决这个问题,可以尝试以下几种方法:

    1. 更新Flink CDC版本:检查是否有更新的Flink CDC版本可用,新版本可能修复了与CLOB字段相关的问题。
    2. 调整Flink CDC配置:尝试调整Flink CDC的配置参数,特别是与CLOB字段相关的参数。可以尝试增加读取CLOB字段时的缓冲区大小或者其他相关配置,以更好地处理CLOB数据。
    3. 使用自定义序列化器:考虑使用自定义的序列化器来处理CLOB字段的数据。通过自定义序列化器,你可以更好地控制数据的读取和处理,确保数据的完整性和准确性。
    4. 限制CLOB字段的处理:如果问题仍然存在,可以考虑限制对CLOB字段的处理。例如,可以在源表中将这些字段标记为不包含在CDC中,避免Flink CDC对它们进行读取和处理。
    5. 检查Oracle数据库配置:确保Oracle数据库中的相关配置是正确的,特别是与CLOB字段相关的配置。可以尝试调整Oracle数据库的参数,以更好地支持CLOB字段的处理。

    需要注意的是,由于你提到使用的是Flink CDC 2.2.1版本,这是一个相对较旧的版本。在处理CLOB字段时,可能存在一些已知或未知的问题。因此,建议更新到最新的Flink CDC版本,以便获得最新的功能和修复的bug。

    2023-11-10 10:34:59
    赞同 1 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载