centos 部署Hadoop-3.0-高性能集群(二)

简介: centos 部署Hadoop-3.0-高性能集群(二)

上一篇主要说的是安装

这一片说说怎么使用

启动  [hadoop@146 hadoop-3.0.0]$ ./sbin/start-all.sh

1、查看进程,此时master有进程:namenode secondarynamenode进程:

    ps -axu | grep namenode --color

147和120上有进程:DataNode

ps -axu | grep datanode --color

2、在146上启动yarn: ./sbin/start-yarn.sh  即,启动分布式计算

/home/hadoop/hadoop-3.0.0/sbin/start-yarn.sh

3、查看146上的ResourceManager进程,147和120进程:DataNode NodeManager

[root@146 ~]$ ps -axu | grep resourcemanager --color

[root@1467~]$ ps -axu | grep nodemanager --color

 

 

启动: jobhistory服务,查看mapreduce运行状态

[hadoop@146 ~]$ /home/hadoop/hadoop-3.0.0/sbin/mr-jobhistory-daemon.sh start historyserver

在主节点上启动存储服务和资源管理主服务。使用命令:

[hadoop@146 ~]$ /home/hadoop/hadoop-3.0.0/sbin/hadoop-daemon.sh start datanode     #启动从存储服务

[hadoop@146 ~]$ /home/hadoop/hadoop-3.0.0/sbin/yarn-daemon.sh start nodemanager            #启动资源管理从服务

查看HDFS分布式文件系统状态  /home/hadoop/hadoop-3.0.0/bin/hdfs dfsadmin -report

或:http://192.168.1.146:9870/dfshealth.html#tab-datanode

通过web界面来查看HDFS状态http://192.168.1.146:9001/status.html

通过Web查看hadoop集群状态:    http://192.168.1.146:8088

查看JobHistory的内容:http://192.168.1.146:19888/jobhistory

目录
相关文章
|
27天前
|
分布式计算 Hadoop Java
CentOS中构建高可用Hadoop 3集群
这个过程像是在一个未知的森林中探索。但当你抵达终点,看到那个熟悉的Hadoop管理界面时,所有的艰辛都会化为乌有。仔细观察,尽全力,这就是构建高可用Hadoop 3集群的挑战之旅。
86 21
|
28天前
|
Linux 应用服务中间件 nginx
在CentOS上部署Minikube教程
至此,您已成功在CentOS上部署并使用Minikube。您可以自由探索Kubernetes的世界,熟练配置和管理Kubernetes集群。
109 20
|
2月前
|
Java Linux
CentOS环境搭建Elasticsearch集群
至此,您已成功在CentOS环境下搭建了Elasticsearch集群。通过以上介绍和步骤,相信您对部署Elasticsearch集群有了充分的了解。最后祝您在使用Elasticsearch集群的过程中顺利开展工作!
129 22
|
8月前
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
367 6
|
7月前
|
Oracle 关系型数据库 MySQL
Centos7下图形化部署单点KFS同步工具并将Oracle增量同步到KES
Centos7下图形化部署单点KFS同步工具并将Oracle增量同步到KES
Centos7下图形化部署单点KFS同步工具并将Oracle增量同步到KES
|
8月前
|
Kubernetes Ubuntu Linux
Centos7 搭建 kubernetes集群
本文介绍了如何搭建一个三节点的Kubernetes集群,包括一个主节点和两个工作节点。各节点运行CentOS 7系统,最低配置为2核CPU、2GB内存和15GB硬盘。详细步骤包括环境配置、安装Docker、关闭防火墙和SELinux、禁用交换分区、安装kubeadm、kubelet、kubectl,以及初始化Kubernetes集群和安装网络插件Calico或Flannel。
501 4
|
8月前
|
SQL 分布式计算 Hadoop
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
84 3
|
3月前
|
存储 分布式计算 Hadoop
从“笨重大象”到“敏捷火花”:Hadoop与Spark的大数据技术进化之路
从“笨重大象”到“敏捷火花”:Hadoop与Spark的大数据技术进化之路
212 79
|
8月前
|
分布式计算 资源调度 Hadoop
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
170 2
|
6月前
|
存储 分布式计算 大数据
Flume+Hadoop:打造你的大数据处理流水线
本文介绍了如何使用Apache Flume采集日志数据并上传至Hadoop分布式文件系统(HDFS)。Flume是一个高可用、可靠的分布式系统,适用于大规模日志数据的采集和传输。文章详细描述了Flume的安装、配置及启动过程,并通过具体示例展示了如何将本地日志数据实时传输到HDFS中。同时,还提供了验证步骤,确保数据成功上传。最后,补充说明了使用文件模式作为channel以避免数据丢失的方法。
299 4