Hadoop运行模式(五)、编写Hadoop集群常用脚本、Hadoop集群启停脚本、常用端口号说明、集群时间同步、时间服务器配置、其他机器配置

简介: Hadoop集群启停脚本(包含HDFS,Yarn,Historyserver):myhadoop.sh、查看三台服务器Java进程脚本:jpsall、分发/home/atguigu/bin目录,保证自定义脚本在三台机器上都可以使用、如果服务器在公网环境(能连接外网),可以不采用集群时间同步,因为服务器会定期和公网时间进行校准;如果服务器在内网环境,必须要配置集群时间同步,否则时间久了,会产生时间偏差,导致集群执行任务时间不同步。...

3.Hadoop运行模式

3.9编写Hadoop集群常用脚本

3.9.1Hadoop集群启停脚本(包含HDFS,Yarn,Historyserver):myhadoop.sh

  • [summer@hadoop102 ~]$ cd /home/summer/bin
  • [summer@hadoop102 bin]$ vim myhadoop.sh

在这里插入图片描述

在这里插入图片描述
输入如下内容:

#!/bin/bash

if [ $# -lt 1 ]
then
    echo "No Args Input..."
    exit ;
fi

case $1 in
"start")
        echo " =================== 启动 hadoop集群 ==================="

        echo " --------------- 启动 hdfs ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
        echo " --------------- 启动 yarn ---------------"
        ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
        echo " --------------- 启动 historyserver ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"
;;
"stop")
        echo " =================== 关闭 hadoop集群 ==================="

        echo " --------------- 关闭 historyserver ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"
        echo " --------------- 关闭 yarn ---------------"
        ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
        echo " --------------- 关闭 hdfs ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)
    echo "Input Args Error..."
;;
esac
AI 代码解读

保存后退出,然后赋予脚本执行权限

  • [summer@hadoop102 bin]$ chmod 777 myhadoop.sh

3.9.1.1测试

  • [summer@hadoop102 bin]$ myhadoop.sh stop

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  • [summer@hadoop102 bin]$ myhadoop.sh start

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

由于再查jps的时候每台服务器都需要输入命令,太麻烦了,因此写下面的脚本方便查jps

3.9.2查看三台服务器Java进程脚本:jpsall

  • [summer@hadoop102 bin]$ vim jpsall

在这里插入图片描述
保存后退出,然后赋予脚本执行权限

  • [summer@hadoop102 bin]$ chmod 777 jpsall

3.9.2.1测试结果

在这里插入图片描述

3.9.3分发/home/atguigu/bin目录,保证自定义脚本在三台机器上都可以使用

  • [summer@hadoop102 ~]$ xsync /home/summer/bin/

在这里插入图片描述

在这里插入图片描述

3.10常用端口号说明

端口名称 Hadoop2.x Hadoop3.x
NameNode内部通信端口 8020 / 9000 8020 / 9000/9820
NameNode HTTP UI 50070 9870
MapReduce查看执行任务端口 8088 8088
历史服务器通信端口 19888 19888

3.11集群时间同步

如果服务器在公网环境(能连接外网),可以不采用集群时间同步,因为服务器会定期和公网时间进行校准;
如果服务器在内网环境,必须要配置集群时间同步,否则时间久了,会产生时间偏差,导致集群执行任务时间不同步。

3.11.1需求

找一个机器,作为时间服务器,所有的机器与这台集群时间进行定时的同步,生产环境根据任务对时间的准确程度要求周期同步。测试环境为了尽快看到效果,采用1分钟同步一次。
在这里插入图片描述

3.11.2时间服务器配置(必须root用户)

3.11.2.1查看所有节点ntpd服务状态和开机自启动状态

  • [root@hadoop102 ~]# systemctl status ntpd
  • [root@hadoop102 ~]# systemctl start ntpd
  • [root@hadoop102 ~]# systemctl is-enabled ntpd

3.11.2.2修改hadoop102的ntp.conf配置文件

  • [root@hadoop102 ~]# vim /etc/ntp.conf

修改内容如下

3.11.2.2.1修改1(授权192.168.159.0-192.168.159.255网段上的所有机器可以从这台机器上查询和同步时间)

restrict 192.168.159.0 mask 255.255.255.0 nomodify notrap

为restrict 192.168.159.0 mask 255.255.255.0 nomodify notrap
取消注释

3.11.2.2.2修改2(集群在局域网中,不使用其他互联网上的时间)
server 0.centos.pool.ntp.org iburst
server 1.centos.pool.ntp.org iburst
server 2.centos.pool.ntp.org iburst
server 3.centos.pool.ntp.org iburst

server 0.centos.pool.ntp.org iburst

server 1.centos.pool.ntp.org iburst

server 2.centos.pool.ntp.org iburst

server 3.centos.pool.ntp.org iburst

3.11.2.2.3添加3(当该节点丢失网络连接,依然可以采用本地时间作为时间服务器为集群中的其他节点提供时间同步)

在最后添加
server 127.127.1.0
fudge 127.127.1.0 stratum 10

3.11.2.3修改hadoop102的/etc/sysconfig/ntpd文件

  • [root@hadoop102 ~]# vim /etc/sysconfig/ntpd

增加内容如下(让硬件时间与系统时间一起同步)
SYNC_HWCLOCK=yes

3.11.2.4重新启动ntpd服务

  • [root@hadoop102 ~]# systemctl start ntpd

3.11.2.5设置ntpd服务开机启动

  • [root@hadoop102 ~]# systemctl enable ntpd

3.11.3其他机器配置(必须root用户)

3.11.3.1关闭所有节点上ntp服务和自启动

  • [root@hadoop103 ~]# systemctl stop ntpd
  • [root@hadoop103 ~]# systemctl disable ntpd
  • [root@hadoop104 ~]# systemctl stop ntpd
  • [root@hadoop104 ~]# systemctl disable ntpd

3.11.3.2在其他机器配置1分钟与时间服务器同步一次

  • [root@hadoop104 ~]# crontab -e

编写定时任务如下:

*/1 * * * * /usr/sbin/ntpdate hadoop102
AI 代码解读

3.11.3.3修改任意机器时间

  • [root@hadoop104 ~]# date -s "2022-8-7 22:11:11"

3.11.3.4 1分钟后查看机器是否与时间服务器同步

  • [root@hadoop104 ~]# date
目录
打赏
0
1
1
0
2
分享
相关文章
如何分析及处理 Flink 反压?
反压(backpressure)是实时计算应用开发中,特别是流式计算中,十分常见的问题。反压意味着数据管道中某个节点成为瓶颈,处理速率跟不上上游发送数据的速率,而需要对上游进行限速。
如何分析及处理 Flink 反压?
CentOS 7- 配置阿里镜像源
阿里镜像官方地址http://mirrors.aliyun.com/ 1、点击官方提供的相应系统的帮助 :2、查看不同版本的系统操作: 下载源1、安装wget yum install -y wget2、下载CentOS 7的repo文件wget -O /etc/yum.
245090 0
Centos7配置Hadoop出现Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password)的解决
Centos7配置Hadoop出现Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password)的解决
1847 0
WebAssembly:让前端性能突破极限的秘密武器
WebAssembly(简称 WASM)作为前端开发的性能加速器,能够让代码像 C++ 一样在浏览器中高速运行,突破了 JavaScript 的性能瓶颈。本文详细介绍了 WebAssembly 的概念、工作原理以及其在前端性能提升中的关键作用。通过与 JavaScript 的配合,WASM 让复杂运算如图像处理、3D 渲染、机器学习等在浏览器中流畅运行。文章还探讨了如何逐步集成 WASM,展示其在网页游戏、高计算任务中的实际应用。WebAssembly 为前端开发者提供了新的可能性,是提升网页性能、优化用户体验的关键工具。
3982 2
WebAssembly:让前端性能突破极限的秘密武器
Hadoop集群搭建,基于3.3.4hadoop和centos8【图文教程-从零开始搭建Hadoop集群】,常见问题解决
本文是一份详细的Hadoop集群搭建指南,基于Hadoop 3.3.4版本和CentOS 8操作系统。文章内容包括虚拟机创建、网络配置、Java与Hadoop环境搭建、克隆虚拟机、SSH免密登录设置、格式化NameNode、启动Hadoop集群以及通过UI界面查看Hadoop运行状态。同时,还提供了常见问题的解决方案。
Hadoop集群搭建,基于3.3.4hadoop和centos8【图文教程-从零开始搭建Hadoop集群】,常见问题解决
Redis Windows版下载,带安装包
文章提供了Windows版Redis的下载和安装指南,包括如何解压、启动Redis服务以及连接到Redis数据库。
4470 0
Redis Windows版下载,带安装包
AI助理
登录插画

登录以查看您的控制台资源

管理云资源
状态一览
快捷访问

你好,我是AI助理

可以解答问题、推荐解决方案等