需要使用Flink AI Flow,它是一个大数据加AI顶层工作流抽象。如图示: 一个工作流通常可以分为 Workflow 定义和 Workflow。Workflow定义即定义节点和节点之间的关系,在Flink AI Flow里,把一个节点定义成一个Logical Processig Unit,然后把整个节点之间的关系定义成为Event Driven Conditions,在这样的抽象下面,在workflow执行层面做了基于事件的调度。
抽象来讲,在一个系统里会有很多事件,把这些事件组合到一起可以满足某些条件,当满足了这个条件就会产生一些动作。通过这样的抽象,可以很好地把以前传统工作流和带有流作业的工作流整合起来。
以前传统的工作流里都是基于作业状态发生变化进行调度,一般是作业跑完了,然后去看怎么跑下一个作业。这个方式的问题是如果作业是一个流作业,那么这个作业永远跑不完,这个工作流无法正常工作。在基于事件的调度里,就很好的解决了这个问题。系统将不再依赖作业的状态发生变化来进行工作流调度,而是基于事件来做。这样即使是一个流作业,它也可以产生一些事件,然后告诉调度器一些其他事情。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。