开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks数据集成日志显示wait

已解决

DataWorks数据集成日志显示wait

展开
收起
阿里云服务支持 2022-12-08 17:10:02 274 0
2 条回答
写回答
取消 提交回答
  • 推荐回答
    官方回答

    数据集成日志显示WAIT,说明数据集成任务执行资源组,剩余资源不够当前任务执行。

    场景示例

    例如,若选择的资源组规格为4C8G,最大支持8个并发同时执行,若当前存在3个并发为3的任务,其中2个任务同时执行,那么机器剩余的并发为2,此时另一个并发为3的任务,将由于资源组剩余资源不够,当前任务执行而出现等待资源的情况。

    相关文档

    离线任务调优

    独享数据集成资源组性能指标与计费标准

    2022-12-08 17:18:48
    赞同 展开评论 打赏
  • 从事java行业9年至今,热爱技术,热爱以博文记录日常工作,csdn博主,座右铭是:让技术不再枯燥,让每一位技术人爱上技术

    当你看到数据集成同步任务显示wait的时候,那就说明你的同步任务处于等待执行资源状态,也就是说当前数据集成任务执行资源组剩余资源不够当前任务执行。

    此时就需要考虑任务调优了。

    比如:可以通过运行诊断页面查看当前任务等待资源时,哪些任务占用资源,及资源占用情况;检查占用资源的任务是否卡主或者严重变慢,如果任务存在问题需要先解决此类问题或者停掉部分任务;如果任务未卡住,待占用该数据集成任务执行资源的任务执行成功,将资源释放后启动运行;也可以找到占用该资源的任务列表及责任人,与其协调降低任务并发数;还可以减少当前同步任务的并发数并重新提交发布任务;还支持对任务执行资源组进行扩容。扩缩容操作参考官方文档:https://help.aliyun.com/document_detail/428411.htm

    2022-12-08 17:40:06
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    PostgresChina2018_赖思超_PostgreSQL10_hash索引的WAL日志修改版final 立即下载
    Kubernetes下日志实时采集、存储与计算实践 立即下载
    日志数据采集与分析对接 立即下载