开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

大家有用到Flink CDC1.17.2的吗?

大家有用到Flink CDC1.17.2的吗?我提交任务到yarn上,taskmanager的metrics没有数据 a6f2c67441186271dd9a77c0ca5940dd.png

展开
收起
真的很搞笑 2024-01-09 11:52:40 79 0
1 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    Flink CDC 1.17.2 是一个用于捕获数据库变更的框架,它可以将数据库中的变更数据实时同步到 Flink 中。关于您提到的问题,任务提交到 YARN 上后,taskmanager 的 metrics 没有数据,可能有以下几种原因:

    1. 配置问题 :请检查您的 Flink CDC 配置文件(如 flink-conf.yaml),确保相关配置项已正确设置。例如,检查以下配置项:
    
    # 设置 Flink CDC 的 Checkpoint 间隔时间
    execution.checkpointing.interval: 5000
    
    # 设置 Flink CDC 的 Checkpoint 超时时间
    execution.checkpointing.timeout: 300000
    
    # 设置 Flink CDC 的 TaskManager 数量
    taskmanager.numberOfTaskSlots: 4
    
    1. 资源不足 :如果 taskmanager 的资源不足,可能导致任务无法正常运行。请检查您的 YARN 集群资源分配情况,确保有足够的资源供任务使用。

    2. 日志问题 :查看 Flink CDC 和 TaskManager 的日志文件,以获取更多关于问题的详细信息。这有助于诊断问题并找到解决方案。

    3. 版本兼容性问题 :请确保您使用的 Flink CDC 版本与您的 Flink 和 YARN 集群兼容。您可以查阅 Flink CDC 官方文档,了解支持的版本信息。

    2024-01-09 14:58:09
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 热门讨论

    热门文章

    相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载