开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks中CDH hive任务开发时任务能执行成功,请分析下原因及解决方案?

DataWorks中CDH hive任务开发时任务能执行成功,但发布后任务执行失败,报错日志:/bin/bash: /opt/taobao/tbdpapp/cdhwrapper/cdh.sh: 没有那个文件或目录 , ERROR Shell run failed!,请分析下原因及解决方案?image.png

展开
收起
cuicuicuic 2024-02-25 07:04:59 32 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    这个错误提示表示在执行任务时,系统找不到/opt/taobao/tbdpapp/cdhwrapper/cdh.sh这个文件。可能的原因有:

    1. 文件路径错误:请检查/opt/taobao/tbdpapp/cdhwrapper/cdh.sh这个文件是否存在,以及文件路径是否正确。

    2. 文件权限问题:请确保DataWorks有足够的权限访问该文件。可以尝试修改文件权限,例如使用chmod命令:

      chmod 755 /opt/taobao/tbdpapp/cdhwrapper/cdh.sh
      
    3. 环境变量问题:请检查是否设置了正确的环境变量,以便系统能够找到cdh.sh文件。可以在脚本中添加以下内容来设置环境变量:

      export PATH=$PATH:/opt/taobao/tbdpapp/cdhwrapper
      
    4. 脚本错误:请检查cdh.sh脚本中是否存在错误,例如语法错误、逻辑错误等。

    解决方案:

    1. 检查并修复文件路径错误。

    2. 修改文件权限,确保DataWorks有足够的权限访问该文件。

    3. 设置正确的环境变量。

    4. 检查并修复脚本错误。

    2024-02-25 19:15:55
    赞同 展开评论 打赏
  • 节点右侧调度配置中修改一下调度资源组 改成初始化成功的独享调度资源组image.png
    目前看使用了公共资源组 ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2024-02-25 12:15:10
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    Hive Bucketing in Apache Spark 立即下载
    spark替代HIVE实现ETL作业 立即下载
    2019大数据技术公开课第五季—Hive迁移到MaxCompute最佳实践 立即下载

    相关实验场景

    更多