备案控制台
探索云世界
开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Yarn 集群的组件有哪些

Yarn 集群的组件有哪些

展开
收起
一人吃饱，全家不饿 2021-01-05 23:31:16 995 0
1 条回答
写回答
取消 提交回答
  • 一人吃饱，全家不饿
    1. ResourceManager (RM)：ResourceManager (RM) 负责处理客户端请求、启动 / 监控 ApplicationMaster、监控 NodeManager、资源的分配与调度，包含 Scheduler 和 Applications Manager。
    2. ApplicationMaster (AM)：ApplicationMaster (AM) 运行在 Slave 上，负责数据切分、申请资源和分配、任务监控和容错。
    3. NodeManager (NM)：NodeManager (NM) 运行在 Slave 上，用于单节点资源管理、AM/RM 通信以及汇报状态。
    4. Container：Container 负责对资源进行抽象，包括内存、CPU、磁盘，网络等资源。
    2021-01-05 23:31:31
    赞同 展开评论 打赏
问答分类：
资源调度 实时计算 Flink版
问答标签：
Yarn集群
问答地址：
开发者社区 > 大数据与机器学习 > 实时计算 Flink > 问答

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

相关问答
实时计算 Flink版
flink cdc3中，用flink standalone集群，我如何将这个任务提交到yarn上呢？
57
2
0
如果提交到本地Flink CDC必然是要先启动 如果是yarn 就直接在yarn上会启动一个集群？
26
0
0
Flink on yarn提交作业到双网卡集群，应该配置哪个参数才能不绑定内网ip吗?
19
2
0
请问bin/spark-sql --master yarn不能进行集群模式运行吗？
52
4
0
Flink CDC里集群偶发性的报这个错误，我们用的yarn，任务自动重启，对数据有影响不？
27
2
0
yarn-session 直接 kill 集群会导致 flink 任务无法恢复吗？
27
1
0
想请教下 部署flink集群的话 Standalone模式 Yarn模式 模式用哪个模式好一点？
22
1
0
Flink CDC中是单独起来的yarn集群不？
24
0
0
Flink CDC批量同步，跨yarn集群是可以的吗，还是说走一个中间数据库？
18
1
0
请问Flink CDC中jaas报错怎么处理？是的。就是启动yarn集群有提醒
71
3
0
大数据与机器学习

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。

我要提问

热门讨论

热门文章

  • flinkcdc3.0整库同步mysql的数据到starrocks中全量能过去增量过不去怎么排查？
    296
  • FlinkCDC MySQL 中 scan.startup.mode 用的是什么模式啊？
    1563
  • Caused by: org.apache.kafka.common.errors.TimeoutE
    2116
  • flink1.15启动后无法访问webui的问题有人遇到过吗
    9644
  • Flink-CDC 文档网站地址是什么？
    18092
  • Flink这个未授权访问漏洞有什么解决方案吗？
    362
  • "flink-cdc-connector-mysql，这个报错怎么解决的？
    1170
  • flink web UI 是不是本身不支持登录认证，必须通过nginx来加登录认证？
    492
  • Flink1.17为什么需要JDK 11呢？JDK8我试了也能运行
    602
  • 现在flink消费kafka限速是怎么做的?
    291
    • 展开全部
  • 数据仓库介绍与实时数仓案例
    40034
  • 权威详解 | 阿里新一代实时计算引擎 Blink，每秒支持数十亿次计算
    22050
  • OPPO数据中台之基石：基于Flink SQL构建实数据仓库
    20799
  • 阿里云实时计算产品案例&解决方案汇总
    24282
  • 回顾 | Kafka x Flink Meetup 与世界人工智能大会大数据 AI 专场精彩回顾（附PPT下载）
    13625
  • 为什么说流处理即未来？
    9785
  • 基于实时计算（Flink）打造一个简单的实时推荐系统
    13833
  • 阿里巴巴高级技术专家章剑锋：大数据发展的 8 个要点
    8154
  • 深入了解 Flink 网络栈（二）：监控、指标和处理背压
    8368
  • 日均百亿级日志处理：微博基于 Flink 的实时计算平台建设
    7651
    • 展开全部

    相关课程

    更多
  • Hadoop 分布式资源管理框架 YARN
    438
    5
    去学习

    • 相关文章

  • Hadoop节点扩容检查物理连接
  • 前端宝藏图：寻找技术之旅的星辰大海
  • R语言用贝叶斯层次模型进行空间数据分析
  • R语言收益率和波动性模拟股票价格COMP226带自测题
  • Spark架构

    • 相关电子书

    更多
    • 深度学习+大数据 TensorFlow on Yarn 立即下载
    Docker on Yarn 微服务实践 立即下载
    深度学习+大数据-TensorFlow on Yarn 立即下载

    相关实验场景

    更多
  • 搭建Hadoop环境
    11891
    1.0小时
    去实验