开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC这两个获取出来的位点有什么不一样嘛?

Flink CDC这两个获取出来的位点有什么不一样嘛?image.png
意义,我看从sourceOffset获取出来的他在一个批量操作的情况下位点没变动,从source获取出来的位点是变动的,但是如果指定位点启动的情况下,传入source获取出来的位点会报错,而传入sourceOffset获取出来的位点则不会报错

展开
收起
cuicuicuic 2023-12-04 07:44:59 31 0
1 条回答
写回答
取消 提交回答
  • 从你提供的图片来看,sourceOffsetsource获取出来的位点(pos)是不同的。这可能是因为它们获取位点的来源和方法不同。

    sourceOffset是从Kafka的偏移量(offset)中获取位点的。每个Kafka消息都有一个偏移量,它表示这个消息在主题分区中的位置。当Flink消费Kafka消息时,它会维护一个关于每个分区当前消费到的偏移量的状态,这个状态就是sourceOffset。因此,sourceOffset获取的位点是基于Kafka消息的偏移量,它在一次批处理操作中可能不会有变化,除非有新的Kafka消息到达。

    source是从Kafka消息的内容中获取位点的。Kafka消息的内容是一个包含各种字段的结构体,其中有一个字段是表示位点的。这个字段的值可能在一次批处理操作中发生变化,因为它是基于实际的数据变化的。

    在你的代码中,你尝试使用source获取的位点(pos1)来初始化一个MysqlDataChangeInfo对象。但是,这个对象可能需要一个特定的位点格式,而这个格式可能与source获取的位点不符。这就是为什么当你传入source获取的位点时会报错,而传入sourceOffset获取的位点则不会报错的原因。

    你需要检查MysqlDataChangeInfo对象的构造函数和getInt64方法,看看它们需要的位点格式是什么,然后确保你的代码能够正确地获取到这个格式的位点。

    2023-12-04 11:56:39
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载