开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Pipelined region based 调度策略是怎样运行的?

Pipelined region based 调度策略是怎样运行的?

展开
收起
詹姆斯邦德00 2021-11-17 17:08:28 525 0
1 条回答
写回答
取消 提交回答
  • Pipelined region 是以 pipelined 相连的任务集合。Pipelined 边意味着上下游节点会流式的进行数据交换,即上游边写,下游就边读边消费。Pipelinedregion 调度的好处是可以一定程度上继承了 Eager 调度好处,能够节省调度花费的时间,且让上下游任务并行起来。同时也保留了 Lazy from sources 避免不必要资源的浪费。通过把一部分 Task 整体调度,就能知道这部分需要同时运行的作业所需的资源量是多少,能够以此进行一些更深度的优化。

    资料来源:《Apache Flink 必知必会》,下载链接:https://developer.aliyun.com/topic/download?id=1189 

    2021-11-17 19:18:04
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
MongoShake -- Multi Active-Active and Cross-Region Disaster Recoverable MongoDB Service 立即下载
低代码开发师(初级)实战教程 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载