E-MapReduce 集群运维指南是什么?-问答-阿里云开发者社区-阿里云

开发者社区> nicenelly> 正文

E-MapReduce 集群运维指南是什么?

2017-10-30 16:36:30 1379 0


E-MapReduce集群运维指南


本篇主要旨在说明EMR集群的一些运维的手段,方便大家在使用的时候可以自主的进行服务的运维。

一些通用的环境变量


在集群上,输入env命令可以看到类似如下的环境变量配置(以集群上最新的配置为准,此处只做参考):
  1. JAVA_HOME=/usr/lib/jvm/java
  2. HADOOP_HOME=/usr/lib/hadoop-current
  3. HADOOP_CLASSPATH=/usr/lib/hbase-current/lib/*:/usr/lib/tez-current/*:/usr/lib/tez-current/lib/*:/etc/emr/tez-conf:/usr/lib/hbase-current/lib/*:/usr/lib/tez-current/*:/usr/lib/tez-current/lib/*:/etc/emr/tez-conf:/opt/apps/extra-jars/*:/opt/apps/extra-jars/*
  4. HADOOP_CONF_DIR=/etc/emr/hadoop-conf
  5. SPARK_HOME=/usr/lib/spark-current
  6. SPARK_CONF_DIR=/etc/emr/spark-conf
  7. HBASE_HOME=/usr/lib/hbase-current
  8. HBASE_CONF_DIR=/etc/emr/hbase-conf
  9. HIVE_HOME=/usr/lib/hive-current
  10. HIVE_CONF_DIR=/etc/emr/hive-conf
  11. PIG_HOME=/usr/lib/pig-current
  12. PIG_CONF_DIR=/etc/emr/pig-conf
  13. TEZ_HOME=/usr/lib/tez-current
  14. TEZ_CONF_DIR=/etc/emr/tez-conf
  15. ZEPPELIN_HOME=/usr/lib/zeppelin-current
  16. ZEPPELIN_CONF_DIR=/etc/emr/zeppelin-conf
  17. HUE_HOME=/usr/lib/hue-current
  18. HUE_CONF_DIR=/etc/emr/hue-conf
  19. PRESTO_HOME=/usr/lib/presto-current
  20. PRESTO_CONF_DIR=/etc/emr/presot-conf


服务进程的启停



YARN


操作用账号:hadoop
  • ResourceManager (Master节点)
    1. // 启动
    2. /usr/lib/hadoop-current/sbin/yarn-daemon.sh start resourcemanager
    3. // 停止
    4. /usr/lib/hadoop-current/sbin/yarn-daemon.sh stop resourcemanager
  • NodeManager (Core节点)
    1. // 启动
    2. /usr/lib/hadoop-current/sbin/yarn-daemon.sh start nodemanager
    3. // 停止
    4. /usr/lib/hadoop-current/sbin/yarn-daemon.sh stop nodemanager
  • JobHistoryServer (Master节点)
    1. // 启动
    2. /usr/lib/hadoop-current/sbin/mr-jobhistory-daemon.sh start historyserver
    3. // 停止
    4. /usr/lib/hadoop-current/sbin/mr-jobhistory-daemon.sh stop historyserver
  • WebProxyServer (Master节点)
    1. // 启动
    2. /usr/lib/hadoop-current/sbin/yarn-daemon.sh start proxyserver
    3. // 停止
    4. /usr/lib/hadoop-current/sbin/yarn-daemon.sh stop proxyserver


HDFS


操作用账号:hdfs
  • NameNode (Master节点)
    1. // 启动
    2. /usr/lib/hadoop-current/sbin/hadoop-daemon.sh start namenode
    3. // 停止
    4. /usr/lib/hadoop-current/sbin/hadoop-daemon.sh stop namenode

  • DataNode (Core节点)
    1. // 启动
    2. /usr/lib/hadoop-current/sbin/hadoop-daemon.sh start datanode
    3. // 停止
    4. /usr/lib/hadoop-current/sbin/hadoop-daemon.sh stop datanode


    [font='iconfont']Hive


    操作用账号:hadoop

  • MetaStore (Master节点)
    1. // 启动,这里的内存可以根据需要扩大
    2. HADOOP_HEAPSIZE=512 /usr/lib/hive-current/bin/hive --service metastore >/var/log/hive/metastore.log 2>&1 &
  • HiveServer2 (Master节点)
    1. // 启动
    2. HADOOP_HEAPSIZE=512 /usr/lib/hive-current/bin/hive --service hiveserver2 >/var/log/hive/hiveserver2.log 2>&1 &


HBase


操作用账号:hdfs
需要注意的,需要在组件中选择了HBase以后才能使用如下的方式来启动,否则对应的配置未完成,启动的时候会有错误。
  • HMaster (Master节点)
    1. // 启动
    2. /usr/lib/hbase-current/bin/hbase-daemon.sh start master
    3. // 重启
    4. /usr/lib/hbase-current/bin/hbase-daemon.sh restart master
    5. // 停止
    6. /usr/lib/hbase-current/bin/hbase-daemon.sh stop master
  • HRegionServer (Core节点)
    1. // 启动
    2. /usr/lib/hbase-curren/bin/hbase-daemon.sh start regionserver
    3. // 重启
    4. /usr/lib/hbase-curren/bin/hbase-daemon.sh restart regionserver
    5. // 停止
    6. /usr/lib/hbase-curren/bin/hbase-daemon.sh stop regionserver
  • ThriftServer (Master节点)
    1. // 启动
    2. /usr/lib/hbase-current/bin/hbase-daemon.sh start thrift -p 9099 >/var/log/hive/thriftserver.log 2>&1 &
    3. // 停止
    4. /usr/lib/hbase-current/bin/hbase-daemon.sh stop thrift


Hue


操作用账号:hadoop
  1. // 启动
  2. su -l root -c "${HUE_HOME}/build/env/bin/supervisor >/dev/null 2>&1 &"
  3. // 停止
  4. ps axu | grep hue     // 查找到所有的hue进程
  5. kill -9 huepid        // 杀掉查找到的对应hue进程


Zeppelin


操作用账号:hadoop
  1. // 启动, 这里的内存可以根据需要扩大
  2. su -l root -c "ZEPPELIN_MEM=\"-Xmx512m -Xms512m\" ${ZEPPELIN_HOME}/bin/zeppelin-daemon.sh start"
  3. // 停止
  4. su -l root -c "${ZEPPELIN_HOME}/bin/zeppelin-daemon.sh stop"


Presto


操作用账号:hdfs
  • PrestoServer (Master节点)
    1. // 启动
    2. /usr/lib/presto-current//bin/launcher --config=/usr/lib/presto-current/etc/worker-config.properties start
    3. // 停止
    4. /usr/lib/presto-current//bin/launcher --config=/usr/lib/presto-current/etc/worker-config.properties stop
  • (Core节点)
    1. // 启动
    2. /usr/lib/presto-current//bin/launcher --config=/usr/lib/presto-current/etc/coordinator-config.properties start
    3. // 停止
    4. /usr/lib/presto-current//bin/launcher --config=/usr/lib/presto-current/etc/coordinator-config.properties stop


批量操作


当需要对worker(Core)节点做统一操作时,可以写脚本命令,一键轻松解决。在EMR集群中,master到所有worker节点在hadoop和hdfs账号下是ssh打通的。
例如,需要对所有worker节点的nodemanager做停止操作,假设有10个worker节点,则可以这样做:
  1.   for i in `seq 1 10`;do ssh emr-worker-$i /usr/lib/hadoop-current/sbin/yarn-daemon.sh stop nodemanager;done
取消 提交回答
全部回答(0)
相关问答

40

回答

[@徐雷frank][¥20]什么是JAVA的平台无关性

大河人家 2018-10-29 23:55:20 144313浏览量 回答数 40

17

回答

【大咖问答】对话PostgreSQL 中国社区发起人之一,阿里云数据库高级专家 德哥

阿里ACE 彭飞 2019-07-10 09:36:10 975802浏览量 回答数 17

162

回答

惊喜翻倍:免费ECS+免费环境配置~!(ECS免费体验6个月活动3月31日结束)

豆妹 2014-10-29 17:52:21 223072浏览量 回答数 162

8

回答

OceanBase 使用动画(持续更新)

mq4096 2019-02-20 17:16:36 333958浏览量 回答数 8

110

回答

OSS存储服务-客户端工具

newegg11 2012-05-17 15:37:18 292381浏览量 回答数 110

22

回答

爬虫数据管理【问答合集】

我是管理员 2018-08-10 16:37:41 146823浏览量 回答数 22

18

回答

阿里云开放端口权限

xcxx 2016-07-20 15:03:33 643298浏览量 回答数 18

31

回答

[@倚贤][¥20]刚学完html/css/js的新手学习servlet、jsp需要注意哪些问题?

弗洛伊德6 2018-10-27 21:52:43 145661浏览量 回答数 31

38

回答

安全组详解,新手必看教程

我的中国 2017-11-30 15:23:46 256926浏览量 回答数 38

249

回答

阿里云LNAMP(Linux + Nginx + Apache + MySQL + PHP)环境一键安装脚本

云代维 2014-02-14 15:26:06 302663浏览量 回答数 249
+关注
716
文章
646
问答
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载