开发者社区 问答 正文

DataWorks配置batchSize没有生效如何处理

已解决

DataWorks配置batchSize没有生效如何处理

展开
收起
提个问题 2024-06-01 17:03:35 69 分享 版权
1 条回答
写回答
取消 提交回答
  • 开发者社区问答官方账号
    官方回答
    采纳回答
    odps离线同步到mysql,配置了参数 "batchSize":1024, 但是在detail log中没有体现出来,看起来还是一次性读取30万条数据然后写入,如下图:
    问题原因: 数据集成分批提交除了batchSize控制,还有一个默认限制超过32MB数据也会触发提交,不是一定会攒到batchSize指定的条数才提交。
    2024-06-01 17:03:36
    赞同 展开评论