开发者社区> 问答> 正文

Flink作业显示已完成并没有一直实时运行

已解决

Flink作业显示已完成并没有一直实时运行

展开
收起
提个问题! 2024-06-08 19:09:41 20 0
1 条回答
写回答
取消 提交回答
  • 开发者社区问答官方账号
    官方回答
    采纳回答
    • Flink流任务显示已完成一般由以下情况:
      • 上游数据源为批次读取
        • Hologres:Flink默认以批模式读取Hologres源表数据,即只扫描一次Hologres全表,扫描结束,消费结束,新到Hologres源表的数据不会被读取。从VVR 3.0.0版本开始,支持实时消费Hologres数据。关于实时消费Hologres,详情请参见Flink实时消费Hologres
        • ODPS:默认情况下源表为全量模式,仅会读取partition参数中指定的分区,在读完所有数据后结束运行,状态转换为finished,不会监控是否有新分区产生。如果您需要持续监控新分区,请通过WITH参数中指定startPartition使用增量源表模式。
        • Starrocks:批次读取后任务结束
      • SQL逻辑导致
        • SQL中存在where过滤导致无符合预期数据
          • 如sql标准里字段不能和 null 进行比较否则都是 false
    2024-06-08 19:09:42
    赞同 1 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载