开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Fink on Yarn 的缺陷具体是什么

Fink on Yarn 的缺陷具体是什么

展开
收起
一人吃饱,全家不饿 2021-01-06 11:39:37 842 0
1 条回答
写回答
取消 提交回答
    1. 资源分配是静态的,一个作业需要在启动时获取所需的资源并且在它的生命周期里一直持有这些资源。这导致了作业不能随负载变化而动态调整,在负载下 降时无法归还空闲的资源,在负载上升时也无法动态扩展。
    2. On-Yarn 模式下,所有的 container 都是固定大小的,导致无法根据作业需求来调整 container 的结构。譬如 CPU 密集的作业或许需要更多的核,但不需要太多内存,固定结构的 container 会导致内存被浪费。
    3. 与容器管理基础设施的交互比较笨拙,需要两个步骤来启动 Flink 作业 : 1. 启动 Flink 守护进程;2. 提交作业。如果作业被容器化并且将作业部署作为容器部署的一部分,那么将不再需要步骤
    4. On-Yarn 模式下,作业管理页面会在作业完成后消失不可访问。
    5. Flink 推荐 per job clusters 的部署方式,但是又支持可以在一个集群上运行多个作业的 session 模式,令人疑惑。
    2021-01-06 11:39:44
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

热门讨论

热门文章

相关电子书

更多
深度学习+大数据 TensorFlow on Yarn 立即下载
Docker on Yarn 微服务实践 立即下载
深度学习+大数据-TensorFlow on Yarn 立即下载

相关实验场景

更多