开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

请教一下我是用的是flink 1.17 , cdc是2.4.0 。没有打印数据?

请教一下我是用的是flink 1.17 , cdc是2.4.0 。就是简单执行 sql-client ,mysql 作为source table ,然后select * from ,但是没有打印数据,webui 上的任务的bytes received 也是0。 查看taskmanager 日志上是动态打印新增的binlog 和 pos信息的。

展开
收起
真的很搞笑 2023-10-23 14:55:27 149 0
1 条回答
写回答
取消 提交回答
  • 这种情况可能是因为Flink CDC任务正在消费新的数据,但是由于某些原因(如数据格式不匹配、数据过滤条件等),这些数据并没有被输出。

    你可以尝试以下几种解决方法:

    1. 检查数据格式:确保Flink CDC任务中的数据格式与你期望的一致。你可以通过在SQL查询中添加print语句来查看实际输出的数据。

    2. 检查数据过滤条件:如果你使用了数据过滤条件,确保这些条件是正确的。错误的过滤条件可能会导致Flink CDC任务无法输出任何数据。

    3. 检查任务状态:在Flink Web UI上查看任务的执行状态。如果任务的状态是"RUNNING",那么任务可能正在正常运行。如果任务的状态是"FAILED"或"CANCELED",那么你可能需要检查任务的错误日志。

    4. 增加任务并行度:如果任务并行度太低,可能会导致任务等待数据的时间过长。你可以尝试增加任务的并行度,以提高任务的执行效率。

    5. 增加批处理大小:如果批处理大小太小,可能会导致任务频繁启动和停止,从而影响任务的执行效率。你可以尝试增加批处理大小,以减少任务的启动和停止次数。

    2023-10-24 09:53:12
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载