请教个问题: flink实时读取 hbase(hbase数据实时更新),整个任务只读取一次(flink sql 自定义hbase源,只能跑一次)。这个问题怎么解决?让任务可以持续地跑 场景:每20分钟,读取hbase全量数据(60min过期)做聚合统计(hbase的数据实时更新)这个Hbase实际是实时更新的,但 received数据为 0 。不像kafka一样,实时有received数据
这个问题可能是由于 Flink 的任务只读取了一次数据造成的。如果您的任务只读取了一次数据,任务就无法获取后续更新的数据,因此任务就无法正确地处理实时更新的数据。
您可以尝试以下方法来解决这个问题:
使用 Flink 的流数据处理模型。如果您的任务需要处理实时流数据,您可以使用 Flink 的流数据处理模型。这个模型可以让任务实时地处理流数据,从而使任务能够获取后续更新的数据。
使用 Flink 的延迟数据处理模型。如果您的任务需要处理延迟数据,您可以使用 Flink 的延迟数据处理模型。这个模型可以让任务处理延迟数据,从而使任务能够获取后续更新的数据。
使用 Flink 的事件时间处理模型。如果您的任务需要处理事件时间数据,您可以使用 Flink 的事件时间处理模型。这个模型可以让任务处理事件时间数据,从而使任务能够获取后续更新的数据。
使用 Flink 的批处理模型。如果您的任务需要处理批处理数据,您可以使用 Flink 的批处理模型。这个模型可以让任务处理批处理数据,从而使任务能够获取后续更新的数据。
需要注意的是,使用 Flink 的流数据处理模型、延迟数据处理模型、事件时间处理模型或者批处理模型可能会增加任务的开销和延迟。因此,您需要根据实际情况来决定是否使用这些模型。如果您对这些方法感兴趣,请查看 Flink 的官方文档。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。