开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks数据同步任务槽位不足怎么办?

DataWorks数据同步任务槽位不足怎么办?

展开
收起
真的很搞笑 2023-08-28 14:42:27 145 0
1 条回答
写回答
取消 提交回答
  • 实时同步启动时有如下提示:
    image.png

    离线同步日志有如下error message提示:
    image.png

    解释:
    对于离线同步数据集成任务来说,一个并发数会占用2个槽位,即以4c8g的资源组(含有16个槽位slot)为例,其能支持一个8并发的离线同步任务运行或者2个4并发的离线同步任务同时运行。当您的离线同步任务配置的并发数超过资源组所能支持的并发数上限且没有开启分布式方式运行时,出现图2中的报错,需要您降低并发数或者开启分布式模式运行(分布式模式仅对资源组下有多台服务器的资源组有效)
    对于实时同步任务来说,实时同步任务是运行在资源组下的某一台服务器上的,要求服务器的规格要足够大可以支持实时同步任务所需要的槽位数。例如图1中的实时同步任务需要30个槽位而4c8g的资源组-服务器只有16个槽位,所以不能满足该实时同步任务的运行需求。请对资源组进行升配或者更换其他大规格资源组。,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-08-28 15:35:17
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多