开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks数据同步任务槽位不足怎么办?

DataWorks数据同步任务槽位不足怎么办?

展开
收起
真的很搞笑 2023-08-28 14:42:27 148 0
1 条回答
写回答
取消 提交回答
  • 实时同步启动时有如下提示:
    image.png

    离线同步日志有如下error message提示:
    image.png

    解释:
    对于离线同步数据集成任务来说,一个并发数会占用2个槽位,即以4c8g的资源组(含有16个槽位slot)为例,其能支持一个8并发的离线同步任务运行或者2个4并发的离线同步任务同时运行。当您的离线同步任务配置的并发数超过资源组所能支持的并发数上限且没有开启分布式方式运行时,出现图2中的报错,需要您降低并发数或者开启分布式模式运行(分布式模式仅对资源组下有多台服务器的资源组有效)
    对于实时同步任务来说,实时同步任务是运行在资源组下的某一台服务器上的,要求服务器的规格要足够大可以支持实时同步任务所需要的槽位数。例如图1中的实时同步任务需要30个槽位而4c8g的资源组-服务器只有16个槽位,所以不能满足该实时同步任务的运行需求。请对资源组进行升配或者更换其他大规格资源组。,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-08-28 15:35:17
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks全链路数据质量解决方案-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute 立即下载