开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink WaterMark 处理流程是怎样的

Flink WaterMark 处理流程

展开
收起
一人吃饱,全家不饿 2021-01-05 22:56:50 1156 0
1 条回答
写回答
取消 提交回答
    1. 一个算子的实例在收到 watermark 的时候,首先要更新当前的算子时间,这样的话在 ProcessFunction 里方法查询这个算子时间的时候,就能获取到最新的时间。
    2. 它会遍历计时器队列,这个计时器队列就是我们刚刚说到的 timer,你可以同时注册很多 timer,Flink 会把这些 Timer 按照触发时间放到一个优先队列中。
    3. Flink 得到一个时间之后就会遍历计时器的队列,然后逐一触发用户的回调逻辑。 通过这种方式,Flink 的某一个任务就会将当前的 watermark 发送到下游的其他任务 实例上,从而完成整个 watermark 的传播,从而形成一个闭环
    2021-01-05 22:57:18
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 热门讨论

    热门文章

    相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载