开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

如何实现批流混合工作流?

如何实现批流混合工作流?

展开
收起
云上静思 2021-11-05 16:25:38 732 0
1 条回答
写回答
取消 提交回答
  • 需要使用Flink AI Flow,它是一个大数据加AI顶层工作流抽象。如图示: 一个工作流通常可以分为 Workflow 定义和 Workflow。Workflow定义即定义节点和节点之间的关系,在Flink AI Flow里,把一个节点定义成一个Logical Processig Unit,然后把整个节点之间的关系定义成为Event Driven Conditions,在这样的抽象下面,在workflow执行层面做了基于事件的调度。

    抽象来讲,在一个系统里会有很多事件,把这些事件组合到一起可以满足某些条件,当满足了这个条件就会产生一些动作。通过这样的抽象,可以很好地把以前传统工作流和带有流作业的工作流整合起来。

    以前传统的工作流里都是基于作业状态发生变化进行调度,一般是作业跑完了,然后去看怎么跑下一个作业。这个方式的问题是如果作业是一个流作业,那么这个作业永远跑不完,这个工作流无法正常工作。在基于事件的调度里,就很好的解决了这个问题。系统将不再依赖作业的状态发生变化来进行工作流调度,而是基于事件来做。这样即使是一个流作业,它也可以产生一些事件,然后告诉调度器一些其他事情。

    2021-11-05 22:23:38
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
基于streaming构建统一的数据处理引擎的挑战与实践 立即下载
分布式流处理框架——功能对比和性能评估 立即下载
朱翥、贺小令|更快更稳更易用:Flink 自适应批处理能力演 立即下载