AI 助理
备案控制台
开发者社区 大数据与机器学习 实时计算 Flink 正文

Flink 中有没有 碰到过这个问题的？提交脚本里面加了这两个参数好像没什么效果， 你是说增加并行度

Flink 中有没有 碰到过这个问题的？image.png 或者说踩过这个坑的 -Dtaskmanager.memory.task.off-heap.size=1024mb -Dtaskmanager.memory.process.size=4096mb提交脚本里面加了这两个参数好像没什么效果， 你是说增加并行度是吧，kafka topic 分区 和 并行度 都增加了 ， 现在加到了 100 个 核， 300G 内存， 还是 偶尔会报 image.png 随便找了一个 taskmanager

展开
收起
真的很搞笑 2023-05-30 13:02:18 110 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 芯在这

    配置那三个参数即可，那就增加tm吧，你看看实际运行的tm内存image.png 异常提示的时堆外内存的问题吧， 你增加Heap内存就没用了， 代码里没用堆外内存的话， 就只有框架内存会用到了， 增加点框架堆外内存试试呗，异常提示不是也有框架堆外内存大小的配置，此回答整理自钉群“【③群】Apache Flink China社区”

    2023-05-30 13:05:34
    赞同 展开评论
问答分类：
消息中间件 Kafka 流计算 实时计算 Flink版 云消息队列 Kafka 版
问答标签：
实时计算 Flink版并行度 实时计算 Flink版参数 实时计算 Flink版脚本 实时计算 Flink版参数并行度
问答地址：
开发者社区 > 大数据与机器学习 > 实时计算 Flink > 问答
相关问答
实时计算 Flink版
Flink的TableSourceScan这个算子支持并行度吗？
115
1
0
flink cdc的启动脚本里加了也没生效呀？
101
0
0
Flink的SQL脚本接kafka 当一条消息来了可不可以在日志中打印出来？
102
1
0
Flink就是有一个并行度新增数据，则其他并行度数据可以实时共享吗？
63
1
0
在Flink CDC中，关键是这2个参数要设置，怎么解决？ '
92
1
0
在Flink CDC中，比如什么端口会是重复的啊？我要么用的cdc跑的，要么写的sql脚本跑的。
65
1
0
Flink jar文件以什么参数类型上传的？
51
1
0
安装了1.16.2版本的Flink,执行sql-client脚本，这是什么原因导致的啊？
143
0
0
任务可以通过深度检查部署成功，但是启动会ddl超时默认的600s，Flink这个参数在哪里设置？
106
0
0
flink-cdc.sh 中的 【--global-config】参数也是提供一个yaml吗？
82
0
0
大数据与机器学习

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。

我要提问

相关文章

  • 缓存与数据库一致性终极指南：从入门到放弃？不，到精通！下
  • Gemini 2.5 Flash 技术拆解：从 MoE 架构到阿里云生态落地指南
  • 中间件架构设计与实践：构建高性能分布式系统的核心基石
  • MySQL 到 ClickHouse 明细分析链路改造：数据校验、补偿与延迟治理
  • 76_混合云环境：AWS与GCP互联

    • 热门讨论

    热门文章

  • Flink CDC任务从savepoint/checkpoints状态中恢复作业错误问题
  • 在斗鱼，实时计算发展的历程如何？
  • FlinkCDC MySQL 中 scan.startup.mode 用的是什么模式啊？
  • Flink CDC中，有哪位大佬有flink 版本和cdc版本的适配统计啊？
  • 在Flink CDC中ogg可以做实时同步吗？
  • Flink CDC里用jdbc往达梦dm8推数据，老是显示字符被截断是咋回事？有人碰到过嘛？
  • Flink1.17为什么需要JDK 11呢？JDK8我试了也能运行
  • Flink CDC这是running列表下的内容？
  • 大佬们，请教，pyflink pandas udf如何提高并行度
  • 请问如何用flink sql客户端用yarn application模式提交任务呢？
    • 展开全部
  • 数据仓库介绍与实时数仓案例
  • 实时计算 Flink SQL 核心功能解密
  • 通过Flink实时构建搜索引擎的索引
  • 阿里云实时计算产品案例&解决方案汇总
  • 流计算精品翻译: The Dataflow Model
  • 为什么说流处理即未来？
  • 基于实时计算（Flink）打造一个简单的实时推荐系统
  • Flink Checkpoint 问题排查实用指南
  • Apache Flink 漫谈系列(04) - State
  • 使用 Kafka 和 Flink 构建实时数据处理系统
    • 展开全部
    还有其他疑问?
    咨询AI助理