DataWorks离线同步数据写入kafka超时报脏数据怎么办?

DataWorks离线同步数据写入kafka超时报脏数据怎么办?

展开
收起
真的很搞笑 2023-06-17 13:57:24 362 分享 版权
1 条回答
写回答
取消 提交回答
  • 当来源端数据量大时,数据在30s内没有完全写入kafka相应topic内,会出现该问题。 目前您可以通过配置单次写入大小这个配置项来调大相应的参数。即通过该参数修改linger.ms以及batchsize值。image.png ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-06-17 14:22:41
    赞同 展开评论

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

还有其他疑问?
咨询AI助理