开发者社区> 问答> 正文

关于Flink Chain的一些问题

Hi all, 我在生产环境使用Flink一段时间后,随着集群不断变大,有些问题愈发明显 1. 在文档中提到的 Chain 的概念我理解为 Source -> ,,,, -> Sink 单管道输送数据? 2. 对于 Chain 的概念是否有更多的资料可以参考,以及什么时候会破坏这个 Chain 3. 调优中,如果 Sink 的 Parallel 小于前一个 Operatior 的 Parallel 对比 相同的 Parallel 会有什么区别,如何进行 Parallel 方面的调优,是否有资料可以供观摩参照的 *来自志愿者整理的flink邮件归档

展开
收起
雪哥哥 2021-12-07 16:13:48 452 0
1 条回答
写回答
取消 提交回答
  • 你好,

    1. 在文档中提到的 Chain 的概念我理解为 Source -> ,,,, -> Sink 单管道输送数据?

    Chain 的 operator 合并到一个 task 中,可以避免潜在的网络传输,见 [1]

    1. 对于 Chain 的概念是否有更多的资料可以参考,以及什么时候会破坏这个 Chain

    文档参考:[1], [2] Chain 的条件有很多种,最常见就是上下游并发要一致,有兴趣可以读一下相关代码 [3] 关于 isChainable 的部分

    1. 调优中,如果 Sink 的 Parallel 小于前一个 Operatior 的 Parallel 对比 相同的 Parallel 会有什么区别,如何进行 Parallel 方面的调优,是否有资料可以供观摩参照的

    Parallel 不相同的情况一定不会 chain,这是一个可能的问题 Parallel 调优没有什么具体的模式,适合你的就好,可以参考 back pressure 的情况,尽量在少占用资源和少 back pressure 之间平衡

    1. https://ci.apache.org/projects/flink/flink-docs-master/concepts/runtime.html#tasks-and-operator-chains 2. https://ci.apache.org/projects/flink/flink-docs-master/dev/stream/operators/#task-chaining-and-resource-groups 3. https://github.com/apache/flink/blob/master/flink-streaming-java/src/main/java/org/apache/flink/streaming/api/graph/StreamingJobGraphGenerator.java*来自志愿者整理的flink

    2021-12-07 16:34:30
    赞同 展开评论 打赏
问答标签:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载