开发者社区> 问答> 正文

DataWorks配置batchSize没有生效如何处理

已解决

DataWorks配置batchSize没有生效如何处理

展开
收起
提个问题 2024-06-01 17:03:35 32 0
1 条回答
写回答
取消 提交回答
  • 开发者社区问答官方账号
    官方回答
    采纳回答
    odps离线同步到mysql,配置了参数 "batchSize":1024, 但是在detail log中没有体现出来,看起来还是一次性读取30万条数据然后写入,如下图:
    问题原因: 数据集成分批提交除了batchSize控制,还有一个默认限制超过32MB数据也会触发提交,不是一定会攒到batchSize指定的条数才提交。
    2024-06-01 17:03:36
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载