开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink启动能同步全量数据,后续新插入数据不能增量同步,请问是什么问题?

Flink启动能同步全量数据,后续新插入数据不能增量同步,请问是什么问题?checkpoint也开启了lQLPJwCM0e22FajNAnrNAlywtHI8x1vXHHYE2GqlJkD6AA_604_634.png

展开
收起
三分钟热度的鱼 2023-08-29 19:42:26 139 0
1 条回答
写回答
取消 提交回答
  • 这个问题的原因可能有以下几种:

    Kafka 的 offset 没有正确更新。
    Flink 的 consumer 没有正确配置。
    Kafka 的 topic 权限不正确。
    Flink 的任务没有启动。
    你可以尝试检查以下几点:

    确认 Kafka 的 offset 已经被正确更新。你可以使用 Kafka 客户端 或者 Kakfa CLI 查看 Kafka topic 的 offset。
    检查 Flink 的 consumer 配置,确保配置正确。你可以使用 Flink 配置文档 查看 Flink 消费 Kafka 的配置。
    检查 Kafka 的 topic 权限,确保 Flink 的 consumer 有权限读取 Kafka topic。你可以使用 Kafka 管理界面 或者 Kafka CLI 查看 Kafka topic 的权限。
    检查 Flink 的任务是否已经启动。你可以使用 Flink Web UI 查看 Flink 任务的状态。
    如果以上检查都没有问题,那么你可以提交 Issue 或者通过 邮件列表 反馈给我们。

    2023-09-28 10:13:00
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载