备案控制台

开发者社区

开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

并发比较大的时候，为避免内存被挤爆，有什么设置可以控制datax进程等待的吗？

并发比较大的时候，为避免内存被挤爆，有什么设置可以控制datax进程等待的吗？

展开

收起

solitude. 2023-02-20 14:55:16 370 0

1 条回答

写回答

取消提交回答

一个臻吖

目前是建议配置限流还有部分插件可以配置batchsize 建议不配置过高具体可以参考一下对应的插件文档。此回答整理自钉钉群”DataWorks交流群(答疑@机器人)“

2023-02-20 20:44:24

赞同展开评论打赏

问答分类：

DataX 大数据开发治理平台 DataWorks 数据集成 Data Integration

问答标签：

并发内存内存设置内存进程内存并发设置进程

问答地址：

开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 问答

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

相关问答

函数计算FC正常使用情况下，使用默认提示词生成，会导致内存不够用任务进程终止，是哪里设置的问题吗？

74

14

0

我们Serverless 应用引擎线上应用oom，设置了会保存内存快照，但这个快照文件没有?

21

0

0

大数据计算MaxCompute数据分区是pt,country,app_type可以设置jvm的内存？

17

2

0

云效构建机的内存能设置更大吗？

33

2

0

Flink cdc增量同步的时候，我可以设置ttl进行内存释放，那全量同步的时候怎么实现内存的释放？

34

3

0

OceanBase数据库如果2000个链接并发写入千万数据需要多少内存才可以？

29

1

0

阿里云幻兽帕鲁服务器能设置闲时自动清除内存吗？

104

5

0

ModelScope使用模型期间出现内存问题了，内存也不大 160M多点，进程挂掉了，应该怎么解决？

55

1

0

如何调试这种Tengine worker进程高内存占用的问题？

37

1

0

Flink CDC用jar包的方式在本地进程执行的方式可以设置savepoint吗？

17

0

0

大数据与机器学习

大数据开发治理DataWorks

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎，为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

我要提问

热门讨论

热门文章

数据服务报429请求次数过多咋办呀

数据来源：com.alibaba.fastjson.JSONException: syntax er

dataworks里面的stg层、ods层、dwd层、dws层、是怎么分层的呢？

为什么执行sql,显示无权限？

DataWorks我该如何访问A项目安装了项目的package资源？

DataWorks中HBase Reader使用限制是什么？

Dataphin和 Dataworks 有啥区别呢？

datax同步完成后，reader表怎么进行修改数据

DataWorks这个怎么执行这么慢？

DataWorks生产节点今天总报：FAILED: 重跑就又可以？

展开全部

数据中台的智能进化—阿里巴巴十二年数据平台发展历程

2万字揭秘阿里巴巴数据治理平台DataWorks建设实践

DataWorks售前咨询

大数据&AI的16种可能，2020阿里云客户最佳实践合集下载

大数据公共数据集上线，免费试用TB级数据分析

欢迎加入DataWorks产品钉钉交流群

【2023云栖】田奇铣：大模型驱动DataWorks数据开发治理平台智能化升级

DataWorks数据服务介绍及最佳实践 | 《一站式大数据开发治理DataWorks使用宝典》

开源DataX最新版本v202309新增HdfsReader支持parquet文件格式的问题

阿里云大数据助力知衣科技打造AI服装行业核心竞争力

展开全部

相关电子书

更多

服务上云加速大家居产业C2M进程 立即下载

内存取证与IaaS云平台恶意行为的安全监控 立即下载

云服务器ECS内存增强型实例re6全新发布 立即下载

相关实验场景

更多