备案控制台

开发者社区

开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Fink on Yarn 的缺陷具体是什么

Fink on Yarn 的缺陷具体是什么

展开

收起

一人吃饱，全家不饿 2021-01-06 11:39:37 825 0

1 条回答

写回答

取消提交回答

一人吃饱，全家不饿
1. 资源分配是静态的，一个作业需要在启动时获取所需的资源并且在它的生命周期里一直持有这些资源。这导致了作业不能随负载变化而动态调整，在负载下降时无法归还空闲的资源，在负载上升时也无法动态扩展。
2. On-Yarn 模式下，所有的 container 都是固定大小的，导致无法根据作业需求来调整 container 的结构。譬如 CPU 密集的作业或许需要更多的核，但不需要太多内存，固定结构的 container 会导致内存被浪费。
3. 与容器管理基础设施的交互比较笨拙，需要两个步骤来启动 Flink 作业 : 1. 启动 Flink 守护进程；2. 提交作业。如果作业被容器化并且将作业部署作为容器部署的一部分，那么将不再需要步骤
4. On-Yarn 模式下，作业管理页面会在作业完成后消失不可访问。
5. Flink 推荐 per job clusters 的部署方式，但是又支持可以在一个集群上运行多个作业的 session 模式，令人疑惑。
2021-01-06 11:39:44

赞同展开评论打赏

问答分类：

资源调度实时计算 Flink版

问答地址：

开发者社区 > 大数据与机器学习 > 实时计算 Flink > 问答

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

相关问答

实时计算 Flink版

请问下，群里有用on yarn的大侠们，知道flink在yarn集群里面使用的这个OS curren

496

1

0

YARN 框架主要工作流程是怎样的？

1378

1

0

YARN 框架可以将 Hadoop 1.x 版本中的 JobTracker拆分为哪2个部分？

986

1

0

在*默认设置*下，能观察到本地flink使用的G1，但on yarn运行时出问题

1021

1

0

使用flink 1.8.1 部署yarn集群，始终有报错

469

1

0

yarn的架构分类是什么？

503

1

0

Yarn的资源调度的过程是什么？

228

1

0

运行在YARN上的应用主要分为哪两类？

351

1

0

yarn的主要构架ApplicationMaster（AM）的功能是什么？

1442

1

0

为什么会产生 yarn,它解决了什么问题，有什么优势呢？

464

1

0

大数据与机器学习

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。

我要提问

热门讨论

热门文章

FlinkCDC MySQL 中 scan.startup.mode 用的是什么模式啊？

flink1.15启动后无法访问webui的问题有人遇到过吗

Flink这个未授权访问漏洞有什么解决方案吗？

使用Flink CDC，生产环境要申请的服务器如何评估

Flink 语句有啥方法不写字段能直接拥有源表的所有字段？

Flink1.17为什么需要JDK 11呢？JDK8我试了也能运行

Flink-CDC 文档网站地址是什么？

请问flink-connector-jdbc在sink时，如何设置批量写入？

Caused by: org.apache.kafka.common.errors.TimeoutE

哪位大佬有遇到过Flink这个问题呢？同步pg的时候，是不是类冲突了，所以导致抓不到这个类？

展开全部

数据仓库介绍与实时数仓案例

权威详解 | 阿里新一代实时计算引擎 Blink，每秒支持数十亿次计算

Flink SQL 功能解密系列 —— 维表 JOIN 与异步优化

流计算StreamCompute

通过Flink实时构建搜索引擎的索引

Flume+Kafka+Flink+Redis构建大数据实时处理系统：实时统计网站PV、UV展示

回顾 | Kafka x Flink Meetup 与世界人工智能大会大数据 AI 专场精彩回顾（附PPT下载）

Flink SQL 功能解密系列 —— 流式 TopN 挑战与实现

Flink Checkpoint 问题排查实用指南

Flink SQL 功能解密系列 —— 流计算“撤回(Retraction)”案例分析

展开全部

相关课程

更多

Hadoop 分布式资源管理框架 YARN

438

5

去学习

大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段

125

32

去学习

大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段

180

21

去学习

大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段

324

9

去学习

大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段

248

28

去学习

大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段

283

33

去学习

相关电子书

更多

Deploy Apache Flink Natively on YARN_Kubernetes 立即下载

《基于 Flink 的全新 Pulsar Connector 的设计、开发和使用》 立即下载

Dataflow with Apache NiFi 立即下载

相关实验场景

更多