开发者社区> 问答> 正文

E-MapReduce集群环境被破坏文件大量被删

已解决

E-MapReduce集群环境被破坏文件大量被删

展开
收起
提个问题 2024-06-14 13:10:13 23 0
1 条回答
写回答
取消 提交回答
  • 开发者社区问答官方账号
    官方回答
    采纳回答
    根据以下案例方式修复:
    /opt/apps/ecm/service 这个是镜像的路径,发现很多文件被删除
    从其他正常节点把文件拷贝过来。不完全自动化。
    1、先用下面命令,
    find /usr/lib -maxdepth 1 -type l ! -exec test -e {} \; -print |xargs ls -l |cut -d'>' -f2
    分别在header-1、header-2、header-3节点上查看,判断各自缺失了哪些文件。使用最完整的节点作为文件源。目前看header-1基本是完整的,如果header-1也缺少个别文件,可以降级去worker节点找。
    2、使用下面命令从其他节点拷贝缺失文件
    lost_file=xxx
    su hdfs -c "scp -o StrictHostKeyChecking=no -r emr-header-1:$lost_file /tmp/scp-swap; sudo mv /tmp/scp-swap $lost_file"

    可以考虑把步骤1的结果带进来,组成for循环。
    2024-06-14 13:10:14
    赞同 展开评论 打赏
归属于问产品:
开源大数据平台 E-MapReduce
进入专区
问答排行榜
最热
最新

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载