开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文
1
0
分享

DataWorks实时同步任务,增加了内存和目标端最大并发数,任务延迟仍然较高?

DataWorks实时同步任务,增加了内存和目标端最大并发数,任务延迟仍然较高?

展开
收起
真的很搞笑 2023-08-17 07:45:24 99 0 发布于浙江
举报
飞天免费试用计划
领取免费云资源,开启云上实践第一步
大数据开发治理平台DataWorks
Serverless资源组抵扣包300CU*H
额度3个月内有效
1 条回答
写回答
取消 提交回答
  • 确认非读写异常引发的任务延迟,而是源端业务流量增长导致的延迟,则需要通过提高实时同步任务并发设置缓解延迟。

    并发加大后也需要同步增加任务的内存设置,比例关系可以按照并发每增大4,内存增加1GB。

    任务并发及内存设置方法如下:

    • 对于DataStudio新建的单表到单表ETL实时同步任务,您可以单击右侧的基本配置设置任务并发和内存。
      image.png

    • 在DataStudio新建的数据库迁至DataHub等类型实时同步任务,您可以在运行资源设置步骤中设置并发,在右侧的基本配置设置任务内存。
      image.png
      image.png

    • 同步解决方案任务,您可以在运行资源设置步骤中设置并发和内存。
      image.png

    在未开启分布式运行模式情况下,任务并发建议不超过32,如果超过20则会由于单机资源瓶颈导致任务延迟,此时特定通道可以通过开启分布式运行模式提升性能,目前支持开启分布式运行模式的通道如下:
    image.png

    2023-08-19 00:21:42 发布于北京 举报
    赞同 评论 打赏

    评论

    全部评论 (0)

    登录后可评论

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载
    AI助理

    你好,我是AI助理

    可以解答问题、推荐解决方案等