DataWorks配置batchSize没有生效如何处理

已解决

DataWorks配置batchSize没有生效如何处理

展开
收起
阿里云服务支持 2022-12-14 10:50:47 272 分享 版权
1 条回答
写回答
取消 提交回答
  • 推荐回答
    官方回答

    odps离线同步到mysql,配置了参数 "batchSize":1024, 但是在detail log中没有体现出来,看起来还是一次性读取30万条数据然后写入,如下图:

    image.png

    问题原因: 数据集成分批提交除了batchSize控制,还有一个默认限制超过32MB数据也会触发提交,不是一定会攒到batchSize指定的条数才提交。

    2022-12-14 10:56:31
    赞同 展开评论

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

收录在圈子:
作为全球云计算的领先者,阿里云为全球230万企业提供着云计算服务,服务范围覆盖200多个国家和地区。我们致力于为企业、政府等组织机构提供安全可靠的云计算服务,给用户带来极速愉悦的服务体验。
还有其他疑问?
咨询AI助理