一般来说每个OperatorChain 都有自己的输入和输出,输入是InputGate, 输 出 是ResultPartition。这些任务总体会在一个独占的线程中执行,任务从 InputGate 中读取数据,将它喂给 OperatorChain,OperatorChain 进行业务逻辑的处理,最后会将产出的数据输出到 ResultPartition。
这地方有一个例外是 Source task,它不从 InputGate 中读取数据,而直接通过SourceFunction 方式来产出数据。上游的 ResultPartition 和下游的 InputGate会通过 Flink 的 ShuffleService 进行数据交换。ShuffleService 是一个插件,目前Flink 默认是 NettyShuffleService,下游的 InputGate 会通过 Netty 来从上游的ResultPartition 中获取数据。
资料来源:《Apache Flink 必知必会》,下载链接:https://developer.aliyun.com/topic/download?id=1189
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。