备案控制台

开发者社区

开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

每次执行根任务（子任务有1500条，2主机）都会增加20MB内存，是不是每次执行根任务都要创建线程的

每次执行根任务（子任务有1500条，2主机）都会增加20MB内存，是不是每次执行根任务都要创建线程的问题？

展开

收起

雪哥哥 2022-11-09 22:14:45 400 0

1 条回答

写回答

取消提交回答

毛毛虫雨

默认是的，执行完会销毁。也可以开启共享线程池（此答案整理自DataWorks交流群(答疑@机器人)）

2022-11-10 23:01:50

赞同展开评论打赏

问答分类：

大数据开发治理平台 DataWorks

问答标签：

内存线程内存任务子任务线程内存主机

问答地址：

开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 问答

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

相关问答

Flink CDC 里用虚拟内存跑任务会不会很慢呀？

18

0

0

尝试在3台768G内存机器上跑1000个Flink任务，但面临配置问题导致任务无法正常运行怎么办？

29

1

0

dataworks一个py3任务实例默认内存大小是多少？

18

3

0

flink任务调整内存和cpu分配之后启动报错？

45

2

0

Flink任务就是简单的导数据任务，不太理解为什会有这么多 none heap 的内存被消耗掉？

38

4

0

Flink CDC跑联表任务时候，程序的内存会慢慢增大，这个报错是因为什么呢？

54

1

0

线程的内核元数据会消耗多少内存？

9

1

0

Flink CDC里任务都停了，内存资源不释放是什么情况？

23

0

0

OceanBase数据库怎么忽快忽慢呢怎么释放内存或者占用内存的线程呢？

32

1

0

机器学习PAI alink执行批任务，内存不回收。直到taskmanager挂掉怎么办？

33

1

0

大数据与机器学习

大数据开发治理DataWorks

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎，为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

我要提问

热门讨论

热门文章

数据服务报429请求次数过多咋办呀

数据来源：com.alibaba.fastjson.JSONException: syntax er

DataWorks我该如何访问A项目安装了项目的package资源？

dataworks里面的stg层、ods层、dwd层、dws层、是怎么分层的呢？

为什么执行sql,显示无权限？

Dataphin和 Dataworks 有啥区别呢？

DataWorks生产节点今天总报：FAILED: 重跑就又可以？

dataworks，pyodps节点，怎么把模型写入oss？

datax同步完成后，reader表怎么进行修改数据

DataWorks中HBase Reader使用限制是什么？

展开全部

数据中台的智能进化—阿里巴巴十二年数据平台发展历程

2万字揭秘阿里巴巴数据治理平台DataWorks建设实践

欢迎加入飞天大数据平台交流群

DataWorks售前咨询

大数据&AI的16种可能，2020阿里云客户最佳实践合集下载

大数据公共数据集上线，免费试用TB级数据分析

欢迎加入DataWorks产品钉钉交流群

【2023云栖】田奇铣：大模型驱动DataWorks数据开发治理平台智能化升级

开源DataX最新版本v202309新增HdfsReader支持parquet文件格式的问题

小红书推荐大数据在阿里云上的实践

展开全部

相关电子书

更多

内存取证与IaaS云平台恶意行为的安全监控 立即下载

云服务器ECS内存增强型实例re6全新发布 立即下载

多IO线程优化版 立即下载

相关实验场景

更多