开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

dataworks这边会一直卡在运行状态,也没有新日志输出?

DataWorks在shell中使用ossutil去cp OSS上的文件,存在相同文件时,不写-u的update参数,oss端不知道是否有报错,dataworks这边会一直卡在运行状态,也没有新日志输出?image.png

展开
收起
真的很搞笑 2023-12-24 13:17:51 42 0
1 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在DataWorks中,当使用ossutil命令行工具进行文件操作时,如果遇到相同文件名的情况且未指定-u参数(表示更新),则ossutil会报错并停止执行。在这种情况下,DataWorks任务可能会卡在运行状态,并且不会输出新的日志信息。

    为了解决这个问题,您可以采取以下步骤:

    1. 检查您的ossutil命令是否正确。确保您指定了正确的源文件路径和目标文件路径,以及所需的其他参数。例如:

      ossutil cp -r <源文件路径> oss://<目标OSS路径>/<目标文件路径> -f -u
      
    2. 如果遇到相同的文件名,请确保在命令中包含-u参数以启用更新功能。这样,当目标位置已存在同名文件时,ossutil将覆盖它而不是报错停止。例如:

      ossutil cp -r <源文件路径> oss://<目标OSS路径>/<目标文件路径> -f -u
      
    3. 如果您仍然遇到问题,建议您查看DataWorks任务的日志以获取更多详细信息。您可以在DataWorks控制台中找到任务的日志输出,并检查是否有任何错误或异常信息。

    2023-12-24 20:50:48
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    PostgresChina2018_赖思超_PostgreSQL10_hash索引的WAL日志修改版final 立即下载
    Kubernetes下日志实时采集、存储与计算实践 立即下载
    日志数据采集与分析对接 立即下载