用Linux脚本管理虚拟机中的大数据组件服务

启闭服务脚本

#!/bin/bash
if [ "$1" == "start" ];then
        # 自定义启动服务函数，传入两个字符串参数：参数1为启动命令，参数2为启动方式
    function startService(){
                # 定义两个局部遍历依次接收用户传入的两个参数
                # service 为启动命令
                local service=$1
                # exeType 为启动方式(daemon:后台启动(用于那些会占用窗口的服务)，非daemon表示正常启动)
                local exeType=$2
                if [ "$exeType" == "daemon" ];then
                        # 后台启动
                        nohup $service 1>/dev/null 2>&1 &
                else
                        # 正常启动
                        $service 1>/dev/null 2>&1
                fi
                # 判断执行启动脚本后的状态
                if [ $? -ne 0 ];then
                        # 因为服务按从上到下有依赖关系，所以任何一个脚本执行出错，将退出整个脚本，所以选择exit而非return
                        # 函数按通用规则 return 0:正常，非0:表示异常；若函数中return缺省，则默认返回最后一条命名的状态即改命令执行后的$?
                        echo "ERROR : FAIL TO EXECUTE $service IN MODE OF $exeType ... EXIT ..."
                        # 退出脚本
                        exit 1
                else
                        # 成功则正常输出提示结果
                        echo "INFO : SUCCESS TO EXECUTE $service IN MODE OF $exeType"
                fi
    }

        # 依次按服务依赖顺序调用启动服务函数，并为每次调用传入启动命令和启动方式
        # 启动 hadoop hdfs
    startService "start-dfs.sh" "non-daemon"
        # 启动 hadoop yarn
    startService "start-yarn.sh" "non-daemon"
                # 启动 ZooKeeper
        startService "zkServer.sh start" "non-daemon"
                # 启动 HBase
        startService "start-hbase.sh" "non-daemon"
        # 启动 hadoop job history server
    #startService "mapred --daemon start historyserver" "self-daemon"
        # 启动 hive metastore
    #startService "hive --service metastore" "daemon"
        # 启动 hive server2(供idea,zeppelin等客户端通过jdbc远程连接使用)
    #startService "hive --service hiveserver2" "daemon"
        # 启动 zeppelin
    #startService "zeppelin-daemon.sh start" "non-daemon"
                # 启动 spark
        #startService "/opt/software/spark-3.1.2/sbin/start-all.sh" "non-daemon"
elif [ "$1" == "stop" ];then
        # 自定义启动服务函数，传入两个字符串参数：参数1为关闭命令，参数2为关闭方式
    function stopService(){
                # 服务名称或关闭命令
                local service=$1
                # 关闭方式(command:命令关闭，pid:根据服务查找进程编号(pid)在借助kill命令关闭)
                local exeType=$2
                if [ "$exeType" == "command" ];then
                        # 直接执行参数一命令关闭服务
                        $service 1>/dev/null 2>&1
                        # 根据关闭命令执行的状态展示结果
                        if [ $? -eq  0 ];then
                                        echo "INFO : SUCCESS TO EXECUTE $service"
                        else
                                        echo "ERROR : FAIL TO EXECUTE $service"
                        fi
                else
                        # 根据参数一传入的服务名称查看进程编号(pid)
                        local pid=$(jps -ml|grep $service|awk '{print $1}')
                        if [ "$pid" ];then
                                # 如果进程编号存在，则直接强制 kill
                                kill -9 $pid
                                # 根据kill的状态展示结果
                                if [ $? -eq  0 ];then
                                                        echo "INFO : SUCCESS TO KILL $service WITH PID $pid"
                                        else
                                                        echo "ERROR : FAIL TO KILL $service WITH PID $pid"
                                        fi
                        else
                                echo "INFO : NO SERVICE EXIST WITH NAME OF $service"
                        fi
                fi
    }

        # 根据服务的依赖关系，逆向逐个关闭服务
                # 首先关闭 spark
        # stopService "/opt/software/spark-3.1.2/sbin/stop-all.sh" "command"
        # 首先关闭 zeppelin
    stopService "zeppelin-daemon.sh stop" "command"
        # 再关闭可能存在的 beeline 客户端
    stopService "BeeLine" "pid"
        # 然后关闭可能存在的 hive 客户端
    stopService "CliDriver" "pid"
        # 确定无任何连接指向 hive 后，先关闭 hive server2
    stopService "HiveServer2" "pid"
        # 再关闭 hive metastore
    stopService "HiveMetaStore" "pid"
                # 再关闭 HBase
        stopService "stop-hbase.sh" "command"
                # 再关闭 ZooKeeper
        stopService "zkServer.sh stop" "command"
                # 然后关闭JobHistoryServer
    stopService "JobHistoryServer" "pid"
        # 最后关闭 yarn 和 hdfs
    stopService "stop-yarn.sh" "command"
    stopService "stop-dfs.sh" "command"
else
        # 附带查一下java进程
    jps -ml
fi

脚本解读及其使用方法

1.传参与脚本分支
脚本通过检查第一个参数来决定执行哪种操作。
如果参数是"start",启动服务。
如果参数是"stop",停止服务。
如果参数不是"start"或"stop"，则默认执行jps -ml来显示Java进程。
启动和停止服务的分支采用的都是函数+调用的基本结构
涉及的服务有(可自行添加)：

• Hadoop
  • Hadoop HDFS
  • Hadoop YARN
  • Hadoop JobHistoryServer
• Hive
  • HiveMetaStore
  • HiveServer2
• ZooKeeper
• HBase
• spark
• Zeppelin
  ...

2.启动服务(start分支)
定义了一个函数startService用于启动服务，它接受两个参数：要执行的启动命令和启动方式("daemon"和"non-daemon")

3.停止服务(stop分支)
定义了一个函数stopService用于停止服务，它接受两个参数：服务名称和关闭方式(通过命令"command"或查找并杀死进程"pid")

4.如何将新增服务纳入开启和关闭列表？

• 确定新增服务的开启(daemon?non-daemon?)和关闭(command?pid?)方式
• 查找新增服务的理想开启和关闭顺序(注意开启和关闭的顺序应该相反)
• 若新增服务存在着客户端，应该补充可能的客户端关闭命令。

5.启动前的准备

• 需要先确定该服务的关联服务是什么，将该服务及其关联服务同时开启（HBase的关联服务是Hadoop、ZooKeeper）
• 只需注释掉无关服务的开启指令，无需注释关闭服务的指令