开发者社区> 问答> 正文

Operator Chains(算子链)这个概念你了解吗?Flink是如何优化的?什么情况下Oper

Operator Chains(算子链)这个概念你了解吗?Flink是如何优化的?什么情况下Operator才会chain在一起?

展开
收起
茶什i 2019-11-21 11:08:47 1694 0
1 条回答
写回答
取消 提交回答
  • 为了更高效地分布式执行,Flink会尽可能地将operator的subtask链接(chain)在一起形成task。每个task在一个线程中执行。将operators链接成task是非常有效的优化:它能减少线程之间的切换,减少消息的序列化/反序列化,减少数据在缓冲区的交换,减少了延迟的同时提高整体的吞吐量。

    两个operator chain在一起的的条件:

    • 上下游的并行度一致
    • 下游节点的入度为1 (也就是说下游节点没有来自其他节点的输入)
    • 上下游节点都在同一个 slot group 中(下面会解释 slot group)
    • 下游节点的 chain 策略为 ALWAYS(可以与上下游链接,map、flatmap、filter等默认是ALWAYS)
    • 上游节点的 chain 策略为 ALWAYS 或 HEAD(只能与下游链接,不能与上游链接,Source默认是HEAD)
    • 两个节点间数据分区方式是 forward(参考理解数据流的分区) 用户没有禁用 chain
    2019-11-21 11:09:01
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载