centos 部署Hadoop-3.0-高性能集群(二)

简介: centos 部署Hadoop-3.0-高性能集群(二)

上一篇主要说的是安装

这一片说说怎么使用

启动  [hadoop@146 hadoop-3.0.0]$ ./sbin/start-all.sh

1、查看进程,此时master有进程:namenode secondarynamenode进程:

    ps -axu | grep namenode --color

147和120上有进程:DataNode

ps -axu | grep datanode --color

2、在146上启动yarn: ./sbin/start-yarn.sh  即,启动分布式计算

/home/hadoop/hadoop-3.0.0/sbin/start-yarn.sh

3、查看146上的ResourceManager进程,147和120进程:DataNode NodeManager

[root@146 ~]$ ps -axu | grep resourcemanager --color

[root@1467~]$ ps -axu | grep nodemanager --color

 

 

启动: jobhistory服务,查看mapreduce运行状态

[hadoop@146 ~]$ /home/hadoop/hadoop-3.0.0/sbin/mr-jobhistory-daemon.sh start historyserver

在主节点上启动存储服务和资源管理主服务。使用命令:

[hadoop@146 ~]$ /home/hadoop/hadoop-3.0.0/sbin/hadoop-daemon.sh start datanode     #启动从存储服务

[hadoop@146 ~]$ /home/hadoop/hadoop-3.0.0/sbin/yarn-daemon.sh start nodemanager            #启动资源管理从服务

查看HDFS分布式文件系统状态  /home/hadoop/hadoop-3.0.0/bin/hdfs dfsadmin -report

或:http://192.168.1.146:9870/dfshealth.html#tab-datanode

通过web界面来查看HDFS状态http://192.168.1.146:9001/status.html

通过Web查看hadoop集群状态:    http://192.168.1.146:8088

查看JobHistory的内容:http://192.168.1.146:19888/jobhistory

目录
相关文章
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
1046 6
|
分布式计算 资源调度 Hadoop
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
489 2
|
分布式计算 Hadoop Java
CentOS中构建高可用Hadoop 3集群
这个过程像是在一个未知的森林中探索。但当你抵达终点,看到那个熟悉的Hadoop管理界面时,所有的艰辛都会化为乌有。仔细观察,尽全力,这就是构建高可用Hadoop 3集群的挑战之旅。
432 21
|
Linux 应用服务中间件 nginx
在CentOS上部署Minikube教程
至此,您已成功在CentOS上部署并使用Minikube。您可以自由探索Kubernetes的世界,熟练配置和管理Kubernetes集群。
1033 20
|
Java Linux
CentOS环境搭建Elasticsearch集群
至此,您已成功在CentOS环境下搭建了Elasticsearch集群。通过以上介绍和步骤,相信您对部署Elasticsearch集群有了充分的了解。最后祝您在使用Elasticsearch集群的过程中顺利开展工作!
624 22
|
Oracle 关系型数据库 MySQL
Centos7下图形化部署单点KFS同步工具并将Oracle增量同步到KES
Centos7下图形化部署单点KFS同步工具并将Oracle增量同步到KES
Centos7下图形化部署单点KFS同步工具并将Oracle增量同步到KES
|
Kubernetes Ubuntu Linux
Centos7 搭建 kubernetes集群
本文介绍了如何搭建一个三节点的Kubernetes集群,包括一个主节点和两个工作节点。各节点运行CentOS 7系统,最低配置为2核CPU、2GB内存和15GB硬盘。详细步骤包括环境配置、安装Docker、关闭防火墙和SELinux、禁用交换分区、安装kubeadm、kubelet、kubectl,以及初始化Kubernetes集群和安装网络插件Calico或Flannel。
1443 4
|
分布式计算 资源调度 Hadoop
【赵渝强老师】部署Hadoop的本地模式
本文介绍了Hadoop的目录结构及本地模式部署方法,包括解压安装、设置环境变量、配置Hadoop参数等步骤,并通过一个简单的WordCount程序示例,演示了如何在本地模式下运行MapReduce任务。
489 0
|
分布式计算 资源调度 Hadoop
centos7二进制安装Hadoop3
centos7二进制安装Hadoop3
|
分布式计算 Hadoop Java
Centos7下安装hadoop单节点
Centos7下安装hadoop单节点
280 0