开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks从下午开始,实时同步延时超级严重,大家有这个问题吗?

DataWorks从下午开始,实时同步延时超级严重,大家有这个问题吗?

展开
收起
真的很搞笑 2023-08-08 16:14:52 64 0
1 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    可以按以下步骤排查问题:

    首先检查DataWorks服务是否正常。登录控制台,查看SERVICE ADMIN - 服务管理是否存在异常。

    检查被集成数据源(如数据库)是否存在性能下降。可以查看对应的监控数据。

    登录DataWorks控制台,查看实时同步作业的监控数据。看CPU利用率、内存占用是否超高。

    查看作业运行日志,是否有任何异常警告。提供给DataWorks技术支持人员分析。

    根据实时同步作业延迟的表观现象:

    如果只有特定少数表延迟严重,很大可能是这些表数据量超大导致。

    如果绝大部分表都存在同步延迟,则需考虑DataWorks后端conda。

    更新实时同步作业的配置。比如增加分批同步任务数量,扩大并发度。

    尝试暂停其他实时同步作业,看此作业是否能立即恢复。如果能,则表明CPU资源紧张。

    提供尽可能多的数据供分析,包括:

    数据源类型
    存在延迟的表名称
    作业ID和名称
    同步时间段
    作业运行日志

    2023-08-09 14:43:49
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多