开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

想问懂行的大佬,问题汇总为什么会空跑?

想问懂行的大佬,问题汇总为什么会空跑?

展开
收起
游客242jp2lsd3dac 2023-04-11 17:53:48 424 0
3 条回答
写回答
取消 提交回答
  • 公众号:网络技术联盟站,InfoQ签约作者,阿里云社区签约作者,华为云 云享专家,BOSS直聘 创作王者,腾讯课堂创作领航员,博客+论坛:https://www.wljslmz.cn,工程师导航:https://www.wljslmz.com

    在使用DataWorks进行数据开发时,可能会遇到空跑的情况。常见的导致空跑的原因包括:

    1. 代码逻辑问题:如果您的代码存在逻辑错误,可能会导致任务无法正常执行,从而出现空跑的情况。您可以仔细检查代码逻辑,确保其正确性。
    2. 数据源问题:如果您的任务所依赖的数据源发生了变化,例如表结构修改、数据删除等,可能会导致任务无法正常执行,从而出现空跑的情况。您可以检查数据源是否正常,并尝试重新连接。
    3. 资源限制问题:如果您的任务需要大量的计算资源或者存储资源,但是DataWorks所分配的资源不足,可能会导致任务无法正常执行,从而出现空跑的情况。您可以检查任务所需资源是否满足要求,并尝试调整资源配置。
    4. 调度设置问题:如果您的任务调度设置不正确,例如调度时间、依赖关系等设置错误,可能会导致任务无法正常执行,从而出现空跑的情况。您可以检查任务调度设置是否正确,并尝试重新设置。
    2023-04-27 23:12:26
    赞同 展开评论 打赏
  • 值得去的地方都没有捷径

    对于DataWorks的空跑问题,原因可能是多方面的。以下是一些可能导致空跑的原因:

    配置问题:DataWorks中的任务配置非常细致,需要确保任务的配置信息正确。例如,配置的输入源和输出表名称正确。
    
    网络问题:DataWorks数据交换的过程中,可能会面临因为网络原因而出现的传输失败或者超时等问题。可以在DataWorks监控平台上查看任何数据传输的日志,来定位网络问题。
    
    数据质量问题:数据质量也是造成空跑的一个原因。例如,在任务流中遇到空表等因素,可能导致空跑。可以通过走通整个数据流程,查看任务的日志信息和数据内容质量,定位数据问题。
    
    执行计划问题:可能会出现除计算异常以外的其他异常情况,例如,对于Hive和MaxCompute的执行计划存在压缩导致的文件溢出等问题,这些问题也可能导致空跑。可通过重启任务来解决这些问题。
    
    系统配置问题:内存或者磁盘空间不足等情况也可能导致空跑。可以通过查看机器资源不足的状态日志来定位问题。
    

    综上所述,DataWorks 的空跑问题需要从多方面去排查,进而找到问题根源,从而解决问题。

    2023-04-15 16:38:47
    赞同 展开评论 打赏
  • 场景一:周月实例空跑周期场景二:实时生成的过期实例场景三:设置成功实例场景四:实例属性为空跑场景五: 临时工作流中未被选择的实例日调度任务空跑排查方法此回答整理自钉群DataWorks交流群(答疑@机器人)

    2023-04-11 18:08:12
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

热门讨论

热门文章

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载