Hadoop集群基本测试

简介: Hadoop集群基本测试

1.上传小文件到集群

先确保你的Hadoop集群启动起来了:

先创建一个文件夹

然后上传一个本地的小文件word.txt:

可以发现上传成功:

2.上传大文件到集群

传jdk到根目录:

3.执行wordcount程序

接下来执行一个wordcount程序看看yarn是怎么工作的,刚才上传数据不涉及到yarn,yarn是资源的调度,只有有mapreduce这种计算任务的时候才会执行:

来hdfs中看看数据的结果:

来看一下任务运行的页面:

4.配置历史服务器

当我们查看历史运行情况的时候,会报错,因为我们还没配置历史服务器,为了查看程序的历史运行情况,需要配置一下历史服务器。具体配置步骤如下:

在/opt/module/hadoop-3.1.3/etc/hadoop目录下更改mapred-site.xml文件:

vim mapred-site.xml

在该文件里面增加如下配置:

<!-- 历史服务器端地址 -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop102:10020</value>
</property>
<!-- 历史服务器web端地址 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop102:19888</value>
</property>

然后执行分发命令,分发到103和104上:

然后启动历史服务器进程:

mapred --daemon start historyserver

jps一下就会发现已经启动了历史服务器进程:

我们重新上传一个文件:

上传成功后我们就可以查看历史记录了:

5.配置日志的聚集

日志聚集概念:应用运行完成以后,将程序运行日志信息上传到HDFS系统上。

日志聚集功能好处:可以方便的查看到程序运行详情,方便开发调试。

注意:开启日志聚集功能,需要重新启动NodeManager 、ResourceManager和HistoryServer。

开启日志聚集功能具体步骤如下:

1.在etc/hadoop目录下配置yarn-site.xml:

<!-- 开启日志聚集功能 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property>  
    <name>yarn.log.server.url</name>  
    <value>http://hadoop102:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为7天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>

2.分发配置:

xsync $HADOOP_HOME/etc/hadoop/yarn-site.xml
• 1

3.在103上关闭NodeManager 、ResourceManager和HistoryServer

sbin/stop-yarn.sh
mapred --daemon stop historyserver

4.在103上:start-yarn.sh

5.在102上:mapred --daemon start historyserver

后面执行的任务就可以查看日志了,我们再执行一个任务:

点击后就可以看到了:

6.集群启动/停止方式总结

1.各个模块分开启动/停止(配置ssh是前提)常用

(1)整体启动/停止HDFS

start-dfs.sh/stop-dfs.sh

(2)整体启动/停止YARN

start-yarn.sh/stop-yarn.sh

2.各个服务组件逐一启动/停止

(1)分别启动/停止HDFS组件

hdfs --daemon start/stop namenode/datanode/secondarynamenode

(2)启动/停止YARN

yarn --daemon start/stop  resourcemanager/nodemanager

7.编写Hadoop集群常用脚本

Hadoop集群启停脚本(包含HDFS,Yarn,Historyserver):myhadoop.sh

cd /home/atxiaoyu/bin
vim myhadoop.sh

输入代码:

#!/bin/bash
if [ $# -lt 1 ]
then
    echo "No Args Input..."
    exit ;
fi
case $1 in
"start")
        echo " =================== 启动 hadoop集群 ==================="
        echo " --------------- 启动 hdfs ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
        echo " --------------- 启动 yarn ---------------"
        ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
        echo " --------------- 启动 historyserver ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"
;;
"stop")
        echo " =================== 关闭 hadoop集群 ==================="
        echo " --------------- 关闭 historyserver ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"
        echo " --------------- 关闭 yarn ---------------"
        ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
        echo " --------------- 关闭 hdfs ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)
    echo "Input Args Error..."
;;
esac

保存后推出,赋予脚本权限:

chmod +x myhadoop.sh

查看三台服务器Java进程脚本:jpsall

当我们想查看服务器进程时,在某一台服务器上jps出来只是这个服务器的进程,那我们如何在一台服务器上jps后其他服务器的进程也显示出来呢?

cd /home/atxiaoyu/bin
vim jpsall

输入代码:

#!/bin/bash
for host in hadoop102 hadoop103 hadoop104
do
        echo =============== $host ===============
        ssh $host jps 
done

保存后推出,赋予脚本权限:

chmod +x jpsall

分发/home/atguigu/bin目录,保证自定义脚本在三台机器上都可以使用

xsync /home/atxiaoyu/bin/
相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
10天前
|
SQL 弹性计算 分布式计算
实时计算 Flink版产品使用合集之如果产品是基于ak的,可以提交sql任务到ecs自建hadoop集群吗
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
22 0
|
11天前
|
分布式计算 Hadoop 测试技术
|
11天前
|
分布式计算 Hadoop 测试技术
|
11天前
|
分布式计算 Hadoop 测试技术
Hadoop节点网络性能的带宽测试
【4月更文挑战第23天】
26 1
|
11天前
|
分布式计算 安全 Hadoop
Hadoop节点网络性能测试时延测试
【4月更文挑战第22天】
28 2
|
11天前
|
分布式计算 Hadoop 测试技术
Hadoop节点网络性能的带宽测试
【4月更文挑战第22天】
34 4
|
11天前
|
分布式计算 Hadoop 测试技术
Hadoop节点网络性能测试准备测试工具
【4月更文挑战第22天】选择合适的网络性能测试工具对于评估Hadoop集群的网络性能至关重要。这些工具可以帮助我们收集准确的数据,为优化集群配置和性能提供有力的支持。
25 1
|
11天前
|
分布式计算 安全 Hadoop
Hadoop节点网络性能测试
【4月更文挑战第21天】
25 3
|
11天前
|
分布式计算 监控 Hadoop
Hadoop节点扩容网络性能测试
【4月更文挑战第20天】
25 5
|
11天前
|
分布式计算 监控 Hadoop
Ganglia监控Hadoop与HBase集群
Ganglia监控Hadoop与HBase集群