开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

请教个问题: flink实时读取 hbase(hbase数据实时更新),整个任务只读取一次(flin

请教个问题: flink实时读取 hbase(hbase数据实时更新),整个任务只读取一次(flink sql 自定义hbase源,只能跑一次)。这个问题怎么解决?让任务可以持续地跑 场景:每20分钟,读取hbase全量数据(60min过期)做聚合统计(hbase的数据实时更新)这个Hbase实际是实时更新的,但 received数据为 0 。不像kafka一样,实时有received数据1616问.png

展开
收起
游客3oewgrzrf6o5c 2022-07-15 16:23:53 1195 0
1 条回答
写回答
取消 提交回答
  • 全栈JAVA领域创作者

    这个问题可能是由于 Flink 的任务只读取了一次数据造成的。如果您的任务只读取了一次数据,任务就无法获取后续更新的数据,因此任务就无法正确地处理实时更新的数据。
    您可以尝试以下方法来解决这个问题:

    使用 Flink 的流数据处理模型。如果您的任务需要处理实时流数据,您可以使用 Flink 的流数据处理模型。这个模型可以让任务实时地处理流数据,从而使任务能够获取后续更新的数据。
    使用 Flink 的延迟数据处理模型。如果您的任务需要处理延迟数据,您可以使用 Flink 的延迟数据处理模型。这个模型可以让任务处理延迟数据,从而使任务能够获取后续更新的数据。
    使用 Flink 的事件时间处理模型。如果您的任务需要处理事件时间数据,您可以使用 Flink 的事件时间处理模型。这个模型可以让任务处理事件时间数据,从而使任务能够获取后续更新的数据。
    使用 Flink 的批处理模型。如果您的任务需要处理批处理数据,您可以使用 Flink 的批处理模型。这个模型可以让任务处理批处理数据,从而使任务能够获取后续更新的数据。
    需要注意的是,使用 Flink 的流数据处理模型、延迟数据处理模型、事件时间处理模型或者批处理模型可能会增加任务的开销和延迟。因此,您需要根据实际情况来决定是否使用这些模型。如果您对这些方法感兴趣,请查看 Flink 的官方文档。

    2023-07-31 07:59:40
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载