备案控制台
探索云世界
开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

请问flink提交到yarn上，设置并行度为8个，为什么是起了8个进程呢？

请问flink提交到yarn上，设置并行度为8个，为什么是起了8个进程呢？

展开
收起
圆葱猪肉包 2023-03-08 11:26:55 357 0
1 条回答
写回答
取消 提交回答
  • 爱回答的三好学生

    yarn 有个core 配置需要改，就是默认容器一个vcore个数是1。此答案出自钉群“【③群】Apache Flink China社区”

    2023-03-08 12:15:02
    赞同 展开评论 打赏
问答分类：
资源调度 流计算 实时计算 Flink版
问答标签：
实时计算 Flink版设置 实时计算 Flink版并行度 Yarn flink 实时计算 Flink版进程 实时计算 Flink版设置并行度
问答地址：
开发者社区 > 大数据与机器学习 > 实时计算 Flink > 问答
相关产品：
实时计算 Flink版

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

相关问答
实时计算 Flink版
Flink CDC里我这边6个并行度抽全量，source倾斜了怎么办？
20
1
0
Flink CDC中两阶段提交是指某个sink里还是所有sink一起成功才成功，否则所有回滚吗？
13
0
0
Flink这个是心跳进程吗？
19
0
0
如何在 Flink 中配置目标表的并行度或解决TEMPORARY TABLE更新慢的问题？
16
1
0
Flink CDC里如果sink的并行度是2，其中一个sink失败了，怎么保证啊？
20
1
0
Flink CDC里并行度会任务会有什么影响？是-P这个参数吗？那-s呢？又是什么意思？
14
1
0
Flink cdc中jobmanager有个solrd进程，是不是被挖矿病毒给感染了？
18
1
0
Flink有人晓得这个进程是干嘛的嘛？
23
0
0
如果我没有给FlinkCDC单独指定并行度，它的并行度是1，还是跟整个Flink任务的并行度一致？
19
1
0
Flink CDC同一条数据应该是同一个主键吧？
21
3
0
大数据与机器学习

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。

我要提问

相关产品

  • 实时计算 Flink版
    文档详情 产品详情

    • 热门讨论

    热门文章

  • FlinkCDC MySQL 中 scan.startup.mode 用的是什么模式啊？
    1633
  • Caused by: org.apache.kafka.common.errors.TimeoutE
    2147
  • flinkcdc3.0整库同步mysql的数据到starrocks中全量能过去增量过不去怎么排查？
    314
  • flink1.15启动后无法访问webui的问题有人遇到过吗
    9678
  • Flink CDC有遇见这个问题的吗？
    367
  • Flink1.17为什么需要JDK 11呢？JDK8我试了也能运行
    634
  • flink 1.18必须配套JDK11吗 1.8是不是不行了呢？
    793
  • Flink这个未授权访问漏洞有什么解决方案吗？
    383
  • Flink-CDC 文档网站地址是什么？
    18106
  • flink都是100%占用，请问是什么情况呢？
    402
    • 展开全部
  • 数据仓库介绍与实时数仓案例
    40074
  • 独家专访阿里集团副总裁贾扬清：我为什么选择加入阿里巴巴？
    17088
  • Flink SQL 功能解密系列 —— 维表 JOIN 与异步优化
    26159
  • 流计算StreamCompute
    18132
  • Flume+Kafka+Flink+Redis构建大数据实时处理系统：实时统计网站PV、UV展示
    21461
  • 接着！！Apache Flink 全领域干货合集（持续更新）
    16031
  • 回顾 | Kafka x Flink Meetup 与世界人工智能大会大数据 AI 专场精彩回顾（附PPT下载）
    13630
  • Flink SQL 功能解密系列 —— 流式 TopN 挑战与实现
    15882
  • 史上超强阵容！大数据及人工智能领域顶级盛会，Flink Forward Asia 2019 不容错过！
    9206
  • Flink SQL 功能解密系列 —— 流计算“撤回(Retraction)”案例分析
    17689
    • 展开全部

    相关课程

    更多
  • Apache Flink 入门到实战 - Flink开源社区出品
    1392
    16
    去学习
  • 实时计算 Flink 版产品入门与实操
    3806
    10
    去学习
  • 开源 Flink 极速上手教程
    1752
    7
    去学习
  • Hadoop 分布式资源管理框架 YARN
    438
    5
    去学习
  • 大数据实时计算框架Spark快速入门
    778
    93
    去学习
  • Apache Flink 入门
    4826
    9
    去学习

    • 相关文章

  • 流计算引擎数据正确性的挑战
  • DataWorks操作报错合集之DataWorks节点报错：OSError: [Errno 7] Argument list too long，该怎么处理
  • Python用PyMC贝叶斯GLM广义线性模型、NUTS采样器拟合、后验分布可视化
  • InfluxDB的连续查询与数据聚合技术详解
  • Python随机波动模型Stochastic volatility，SV随机变分推断SVI分析标普500指数时间数据波动性可视化

    • 相关电子书

    更多
    • 深度学习+大数据 TensorFlow on Yarn 立即下载
    Docker on Yarn 微服务实践 立即下载
    深度学习+大数据-TensorFlow on Yarn 立即下载

    相关实验场景

    更多
  • 观察进程的并发性
    473
    2.0小时
    去实验
  • 使用PolarDB-X与Flink搭建实时数据大屏
    185
    1.0小时
    去实验
  • 使用Flink实时发现最热Github项目
    842
    1.0小时
    去实验
  • 5分钟上手Flink MySQL连接器
    227
    1.0小时
    去实验
  • 基于Flink+Tair搭建实时监控大屏
    37
    1.0小时
    去实验