开发者社区> 问答> 正文

E-MapReduce如何判断HDFS属于高可靠性或高可用性受损

已解决

E-MapReduce如何判断HDFS属于高可靠性或高可用性受损

展开
收起
阿里云服务支持 2022-12-13 15:43:22 258 0
1 条回答
写回答
取消 提交回答
  • 官方回答

    按照以下步骤进行排查,以下任意一项有异常,则判定为HDFS高可靠性、高可用性受损,非紧急,可根据业务反馈情况评估影响范围大小。

    1. 首先判断ZKFC、JN、DN进程是否正常,通过控制台查看状态是否正常,也可进一步通过后台命令:ps -ef|grep -i 'pid'查看进程是否存在,以及是否最近有重启;

    2. 去到对应进程的运行日志目录下查看日志是否正常在更新,cd /var/log/hadoop-hdfs ls -rlt查看运行日志最后更新时间是否在刷新;

    进一步分析按照以下步骤进行:

    1. 检查所在的ecs主该进程所在主机是否正常:嫦娥平台健康检查+管控界面是否有异常事件(如oom)+常用命令诊断(df -h、df -i、free -g、top);

    2. 查看对应进程的运行日志,过滤error或者fatal等信息,根据报错信息再做进一步分析。

    3. 确认zk服务是否正常,同样是查看进程,查看日志,以及zk登入测试。

    2022-12-13 15:44:45
    赞同 展开评论 打赏
来源圈子
更多
收录在圈子:
作为全球云计算的领先者,阿里云为全球230万企业提供着云计算服务,服务范围覆盖200多个国家和地区。我们致力于为企业、政府等组织机构提供安全可靠的云计算服务,给用户带来极速愉悦的服务体验。
问答排行榜
最热
最新

相关电子书

更多
海量数据分布式存储——Apache HDFS之最新进展 立即下载
低代码开发师(初级)实战教程 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载