EMR主节点内存异常100%，hbase服务异常

问题描述

EMR主节点内存异常100%，导致hbase服务异常，数据无法读取

问题原因

阿里云安全中心有告警提示恶意操作，sh到header节点发现是中毒了有些常用命令被恶意替换，远程上去把相关的文件删除，对应IP加入黑名单，关闭zeppelin的外网端口后，发现header节点内存打满，hbase服务异常

解决方案

1、主节点异常100%.首先确认大概内存飙升的时间节点

2、经上述分析以及查看集群控制台对应服务，目前hbase组件显示异常，hbase shell命令失败。重启hbase无法拉起HRegionserver服务

3、top查看当前集群进程资源占用情况，重点关注内存，查看没有占用内存资源很大的进程。但是总体内存占用仍在95%以上

ps：单个进程占用不高，但整体能达到95%以上，是否说明可能有大量进程或者某服务同类型进程存在？

4、查找内存陡增原因暂缓，首要任务需要将Hbase服务恢复。查看Hbase gc日志，发现有大量Full gc，登录hbase shell执行命令报错链接不上hdfs 9000端口

5、根据错误查看hdfs服务是否正常，发现namenode控制台状态显示为down

6、从上面排查信息梳理可知：hbase依赖hdfs服务，而master节点主机内存占用高导致namenode宕掉。所以先通过ps -ef | grep pid定位具体进程详情，kill掉非核心进程来释放内存，例如用非核心的作业进程,ganglia，zeppelin等(具体kill的进程根据业务来定，优先kill无业务使用的进程)

7、释放内存过程中发现hbase shell进程较多(可能是人为，暂不确定)。都kill掉后内存降低到80%

8、重启namenode，namenode启动成功。namenode服务正常后重启hbase，各worker节点hregionserver服务被拉起。服务恢复正常

更多信息

主节点内存打满造成的hbase、namenode服务异常，kill掉不必要进程后恢复

适用于

• E-MapReduce