E-MapReduce 集群运维指南是什么?

E-MapReduce集群运维指南


本篇主要旨在说明EMR集群的一些运维的手段，方便大家在使用的时候可以自主的进行服务的运维。

一些通用的环境变量


在集群上，输入env命令可以看到类似如下的环境变量配置（以集群上最新的配置为准，此处只做参考）：

1. JAVA_HOME=/usr/lib/jvm/java
3. HADOOP_HOME=/usr/lib/hadoop-current
4. HADOOP_CLASSPATH=/usr/lib/hbase-current/lib/*:/usr/lib/tez-current/*:/usr/lib/tez-current/lib/*:/etc/emr/tez-conf:/usr/lib/hbase-current/lib/*:/usr/lib/tez-current/*:/usr/lib/tez-current/lib/*:/etc/emr/tez-conf:/opt/apps/extra-jars/*:/opt/apps/extra-jars/*
5. HADOOP_CONF_DIR=/etc/emr/hadoop-conf
7. SPARK_HOME=/usr/lib/spark-current
8. SPARK_CONF_DIR=/etc/emr/spark-conf
10. HBASE_HOME=/usr/lib/hbase-current
11. HBASE_CONF_DIR=/etc/emr/hbase-conf
13. HIVE_HOME=/usr/lib/hive-current
14. HIVE_CONF_DIR=/etc/emr/hive-conf
16. PIG_HOME=/usr/lib/pig-current
17. PIG_CONF_DIR=/etc/emr/pig-conf
19. TEZ_HOME=/usr/lib/tez-current
20. TEZ_CONF_DIR=/etc/emr/tez-conf
22. ZEPPELIN_HOME=/usr/lib/zeppelin-current
23. ZEPPELIN_CONF_DIR=/etc/emr/zeppelin-conf
25. HUE_HOME=/usr/lib/hue-current
26. HUE_CONF_DIR=/etc/emr/hue-conf
28. PRESTO_HOME=/usr/lib/presto-current
29. PRESTO_CONF_DIR=/etc/emr/presot-conf

• ResourceManager （Master节点）
  1. // 启动
  2. /usr/lib/hadoop-current/sbin/yarn-daemon.sh start resourcemanager
  3. // 停止
  4. /usr/lib/hadoop-current/sbin/yarn-daemon.sh stop resourcemanager
• NodeManager （Core节点）
  1. // 启动
  2. /usr/lib/hadoop-current/sbin/yarn-daemon.sh start nodemanager
  3. // 停止
  4. /usr/lib/hadoop-current/sbin/yarn-daemon.sh stop nodemanager
• JobHistoryServer （Master节点）
  1. // 启动
  2. /usr/lib/hadoop-current/sbin/mr-jobhistory-daemon.sh start historyserver
  3. // 停止
  4. /usr/lib/hadoop-current/sbin/mr-jobhistory-daemon.sh stop historyserver
• WebProxyServer （Master节点）
  1. // 启动
  2. /usr/lib/hadoop-current/sbin/yarn-daemon.sh start proxyserver
  3. // 停止
  4. /usr/lib/hadoop-current/sbin/yarn-daemon.sh stop proxyserver

• NameNode （Master节点）
  1. // 启动
  2. /usr/lib/hadoop-current/sbin/hadoop-daemon.sh start namenode
  3. // 停止
  4. /usr/lib/hadoop-current/sbin/hadoop-daemon.sh stop namenode
• 
  DataNode （Core节点）
  1. // 启动
  2. /usr/lib/hadoop-current/sbin/hadoop-daemon.sh start datanode
  3. // 停止
  4. /usr/lib/hadoop-current/sbin/hadoop-daemon.sh stop datanode
  
  
  [font='iconfont']Hive
  
  
  操作用账号：hadoop
• 
  MetaStore （Master节点）
  1. // 启动，这里的内存可以根据需要扩大
  2. HADOOP_HEAPSIZE=512 /usr/lib/hive-current/bin/hive --service metastore >/var/log/hive/metastore.log 2>&1 &
• HiveServer2 （Master节点）
  1. // 启动
  2. HADOOP_HEAPSIZE=512 /usr/lib/hive-current/bin/hive --service hiveserver2 >/var/log/hive/hiveserver2.log 2>&1 &

• HMaster （Master节点）
  1. // 启动
  2. /usr/lib/hbase-current/bin/hbase-daemon.sh start master
  3. // 重启
  4. /usr/lib/hbase-current/bin/hbase-daemon.sh restart master
  5. // 停止
  6. /usr/lib/hbase-current/bin/hbase-daemon.sh stop master
• HRegionServer （Core节点）
  1. // 启动
  2. /usr/lib/hbase-curren/bin/hbase-daemon.sh start regionserver
  3. // 重启
  4. /usr/lib/hbase-curren/bin/hbase-daemon.sh restart regionserver
  5. // 停止
  6. /usr/lib/hbase-curren/bin/hbase-daemon.sh stop regionserver
• ThriftServer （Master节点）
  1. // 启动
  2. /usr/lib/hbase-current/bin/hbase-daemon.sh start thrift -p 9099 >/var/log/hive/thriftserver.log 2>&1 &
  3. // 停止
  4. /usr/lib/hbase-current/bin/hbase-daemon.sh stop thrift

1. // 启动
2. su -l root -c "${HUE_HOME}/build/env/bin/supervisor >/dev/null 2>&1 &"
4. // 停止
5. ps axu | grep hue     // 查找到所有的hue进程
6. kill -9 huepid        // 杀掉查找到的对应hue进程

1. // 启动， 这里的内存可以根据需要扩大
2. su -l root -c "ZEPPELIN_MEM=\"-Xmx512m -Xms512m\" ${ZEPPELIN_HOME}/bin/zeppelin-daemon.sh start"
3. // 停止
4. su -l root -c "${ZEPPELIN_HOME}/bin/zeppelin-daemon.sh stop"

• PrestoServer （Master节点）
  1. // 启动
  2. /usr/lib/presto-current//bin/launcher --config=/usr/lib/presto-current/etc/worker-config.properties start
  3. // 停止
  4. /usr/lib/presto-current//bin/launcher --config=/usr/lib/presto-current/etc/worker-config.properties stop
• （Core节点）
  1. // 启动
  2. /usr/lib/presto-current//bin/launcher --config=/usr/lib/presto-current/etc/coordinator-config.properties start
  3. // 停止
  4. /usr/lib/presto-current//bin/launcher --config=/usr/lib/presto-current/etc/coordinator-config.properties stop

1.   for i in `seq 1 10`;do ssh emr-worker-$i /usr/lib/hadoop-current/sbin/yarn-daemon.sh stop nodemanager;done