开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

flink ui这里的进出条数一直都是0的?一般都是怎么检查源表和输出表同步一致的?

Flink CDC开了cdc和操作源表之后,输出表有同步数据,但是flink ui这里的进出条数一直都是0的?image.png
一般都是怎么检查源表和输出表同步一致的? 还想着看输入输出条数

展开
收起
真的很搞笑 2023-11-01 14:53:19 184 0
3 条回答
写回答
取消 提交回答
  • 在Flink的Web UI中,"进出条数"这一指标主要反映了TaskManager在处理数据时的吞吐量和负载情况,而不是直接反映数据的一致性。如果你发现这个指标一直是0,可能是因为你的任务还没有开始处理数据,或者处理的数据量太小,不足以在这个指标中体现出来。

    检查源表和输出表同步一致的方法主要有以下几种:

    1. 通过Flink的Web UI查看任务的执行状态和进度。在"作业概览"页面,你可以看到每个算子的处理数据和状态,以及整个任务的执行状态和进度。

    2. 通过Flink的Web UI查看任务的Checkpoint状态。在"作业概览"页面,你可以看到每个任务的Checkpoint状态,包括最新的Checkpoint时间、大小等信息。

    3. 通过Flink的Web UI查看任务的日志信息。在"作业概览"页面,你可以点击"日志"按钮查看任务的详细日志信息,包括任务启动、停止、故障恢复等过程的信息。

    4. 通过Flink的Web UI查看任务的Metrics信息。在"作业概览"页面,你可以点击"Metrics"按钮查看任务的实时Metrics信息,包括CPU使用率、内存使用率、网络吞吐量等信息。

    5. 通过Flink的Web UI查看任务的执行计划。在"作业概览"页面,你可以点击"执行计划"按钮查看任务的执行计划,包括每个算子及其连接关系等信息。

    6. 通过Flink的Web UI查看任务的资源使用情况。在"作业概览"页面,你可以点击"资源"按钮查看任务的资源使用情况,包括CPU使用率、内存使用率等信息。

    7. 通过Flink的Web UI查看任务的Checkpoint状态。在"作业概览"页面,你可以点击"Checkpoint"按钮查看任务的Checkpoint状态,包括最新的Checkpoint时间、大小等信息。

    8. 通过Flink的Web UI查看任务的执行状态和进度。在"作业概览"页面,你可以看到每个算子的处理数据和状态,以及整个任务的执行状态和进度。

    9. 通过Flink的Web UI查看任务的日志信息。在"作业概览"页面,你可以点击"日志"按钮查看任务的详细日志信息,包括任务启动、停止、故障恢复等过程的信息。

    10. 通过Flink的Web UI查看任务的Metrics信息。在"作业概览"页面,你可以点击"Metrics"按钮查看任务的实时Metrics信息,包括CPU使用率、内存使用率、网络吞吐量等信息。

    11. 通过Flink的Web UI查看任务的执行计划。在"作业概览"页面,你可以点击"执行计划"按钮查看任务的执行计划,包括每个算子及其连接关系等信息。

    12. 通过Flink的Web UI查看任务的资源使用情况。在"作业概览"页面,你可以点击"资源"按钮查看任务的资源使用情况,包括CPU使用率、内存使用率等信息。

    13. 通过Flink的Web UI查看任务的Checkpoint状态。在"作业概览"页面,你可以点击"Checkpoint"按钮查看任务的Checkpoint状态,包括最新的Checkpoint时间、大小等信息。

    14. 通过Flink的Web UI查看任务的执行状态和进度。在"作业概览"页面,你可以看到每个算子的处理数据和状态,以及整个任务的执行状态和进度。

    15. 通过Flink的Web UI查看任务的日志信息。在"作业概览"页面,你可以点击"日志"按钮查看任务的详细日志信息,包括任务启动、停止、故障恢复等过程的信息。

    16. 通过Flink的Web UI查看任务的Metrics信息。在"作业概览"页面,你可以点击"Metrics"按钮查看任务的实时Metrics信息,包括CPU使用率、内存使用率、网络吞吐量等信息。

    17. 通过Flink的Web UI查看任务的执行计划。在"作业概览"页面,你可以点击"执行计划"按钮查看任务的执行计划,包括每个算子及其连接关系等信息。

    18. 通过Flink的Web UI查看任务的资源使用情况。在"作业概览"页面,你可以点击"资源"按钮查看任务的资源使用情况,包括CPU使用率、内存使用率等信息。

    19. 通过Flink的Web UI查看任务的Checkpoint状态。在"作业概览"页面,你可以点击"Checkpoint"按钮查看任务的Checkpoint状态,包括最新的Checkpoint时间、大小等信息。

    20. 通过Flink的Web UI查看任务的执行状态和进度。在"作业概览"页面,你可以看到每个算子的处理数据和状态,以及整个任务的执行状态和进度。

    21. 通过Flink的Web UI查看任务的日志信息。在"作业概览"页面,你可以点击"日志"按钮查看任务的详细日志信息,包括任务启动、停止、故障恢复等过程的信息。

    22. 通过Flink的Web UI查看任务的Metrics信息。在"作业概览"页面,你可以点击"Metrics"按钮查看任务的实时Metrics信息,包括CPU使用率、内存使用率、网络吞吐量等信息。

    23. 通过Flink的Web UI查看任务的执行计划。在"作业概览"页面,你可以点击"执行计划"按钮查看任务的执行计划,包括每个算子及其连接关系等信息。

    24. 通过Flink的Web UI查看任务的资源使用情况。在"作业概览"页面,你可以点击"资源"按钮查看任务的资源使用情况,包括CPU使用率、内存使用率等信息。

    25. 通过Flink的Web UI查看任务的Checkpoint状态。在"作业概览"页面,你可以点击"Checkpoint"按钮查看任务的Checkpoint状态,包括最新的Checkpoint时间、大小等信息。

    26. 通过Flink的Web UI查看任务的执行状态和进度。在"作业概览"页面,你可以看到每个算子的处理数据和状态,以及整个任务的执行状态和进度。

    27. 通过Flink的Web UI查看任务的日志信息。在"作业概览"页面,你可以点击"日志"按钮查看任务的详细日志信息,包括任务启动、停止、故障恢复等过程的信息。

    28. 通过Flink的Web UI查看任务的Metrics信息。在"作业概览"页面,你可以点击"Metrics"按钮查看任务的实时Metrics信息,包括CPU使用率、内存使用率、网络吞吐量等信息。

    29. 通过Flink的Web UI查看任务的执行计划。在"作业概览"页面,你可以点击"执行计划"按钮查看任务的执行计划,包括每个算子及其连接关系等信息。

    30. 通过Flink的Web UI查看任务的资源使用情况。在"作业概览"页面,你可以点击"资源"按钮查看任务的资源使用情况,包括CPU使用率、内存使用率等信息。

    2023-11-02 14:32:55
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    您好!在Flink UI中的进出条数指的是输入数据和输出数据的数量。如果始终都是0的话,有可能是以下几个原因:

    • 源表中没有数据可供抽取;
    • 没有足够的输出目标或目标表未正确设置;
    • 数据抽取的间隔时间太长,没有足够的时间抽取数据;
    • 数据抽取的任务挂起或失败。

    为了确保数据抽取任务正常,您需要查看任务日志,并仔细查看任务的状态。另外,您可以尝试重新部署任务,或者查看任务是否正常运行。

    2023-11-02 14:32:59
    赞同 展开评论 打赏
  • 任务链合并了吧,那得再加一个数据校验系统了,此回答整理自钉群“Flink CDC 社区”

    2023-11-01 21:50:43
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载