centos 部署Hadoop-3.0-高性能集群(二)

简介: centos 部署Hadoop-3.0-高性能集群(二)

上一篇主要说的是安装

这一片说说怎么使用

启动  [hadoop@146 hadoop-3.0.0]$ ./sbin/start-all.sh

1、查看进程,此时master有进程:namenode secondarynamenode进程:

    ps -axu | grep namenode --color

147和120上有进程:DataNode

ps -axu | grep datanode --color

2、在146上启动yarn: ./sbin/start-yarn.sh  即,启动分布式计算

/home/hadoop/hadoop-3.0.0/sbin/start-yarn.sh

3、查看146上的ResourceManager进程,147和120进程:DataNode NodeManager

[root@146 ~]$ ps -axu | grep resourcemanager --color

[root@1467~]$ ps -axu | grep nodemanager --color

 

 

启动: jobhistory服务,查看mapreduce运行状态

[hadoop@146 ~]$ /home/hadoop/hadoop-3.0.0/sbin/mr-jobhistory-daemon.sh start historyserver

在主节点上启动存储服务和资源管理主服务。使用命令:

[hadoop@146 ~]$ /home/hadoop/hadoop-3.0.0/sbin/hadoop-daemon.sh start datanode     #启动从存储服务

[hadoop@146 ~]$ /home/hadoop/hadoop-3.0.0/sbin/yarn-daemon.sh start nodemanager            #启动资源管理从服务

查看HDFS分布式文件系统状态  /home/hadoop/hadoop-3.0.0/bin/hdfs dfsadmin -report

或:http://192.168.1.146:9870/dfshealth.html#tab-datanode

通过web界面来查看HDFS状态http://192.168.1.146:9001/status.html

通过Web查看hadoop集群状态:    http://192.168.1.146:8088

查看JobHistory的内容:http://192.168.1.146:19888/jobhistory

目录
相关文章
|
21天前
|
数据采集 分布式计算 监控
Hadoop集群长时间运行数据倾斜原因
【6月更文挑战第20天】
23 6
|
21天前
|
分布式计算 监控 网络协议
Hadoop集群长时间运行网络延迟原因
【6月更文挑战第20天】
29 2
|
13天前
|
Linux 虚拟化 数据安全/隐私保护
部署05-VMwareWorkstation中安装CentOS7 Linux操作系统, VMware部署CentOS系统第一步,下载Linux系统,/不要忘, CentOS -7-x86_64-DVD
部署05-VMwareWorkstation中安装CentOS7 Linux操作系统, VMware部署CentOS系统第一步,下载Linux系统,/不要忘, CentOS -7-x86_64-DVD
|
13天前
|
SQL 分布式计算 关系型数据库
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
23 2
|
21天前
|
存储 缓存 分布式计算
|
22天前
|
存储 分布式计算 负载均衡
Hadoop集群长时间运行
【6月更文挑战第19天】
19 3
|
22天前
|
存储 分布式计算 监控
Hadoop集群添加新的DataNode
【6月更文挑战第19天】
14 1
|
13天前
|
关系型数据库 MySQL Linux
Linux部署实战前言,MySQL在CentOS安装【单机软件】,MySQL的安装需要root权限,yum install mysql,systemctl enable mysqld开机自启的意思
Linux部署实战前言,MySQL在CentOS安装【单机软件】,MySQL的安装需要root权限,yum install mysql,systemctl enable mysqld开机自启的意思
|
7天前
|
存储 Linux 网络安全
Centos安装Docker的详细安装步骤,Docker相关组件:docker-ce-cli、docker-ce和containerd.io的区别
Centos安装Docker的详细安装步骤,Docker相关组件:docker-ce-cli、docker-ce和containerd.io的区别;CentOS7安装DockerCompose;Docker镜像仓库
189 11
|
12天前
|
应用服务中间件 Linux 网络安全
CentOS 7 上安装 Nginx
在 CentOS 7 上安装 Nginx 的步骤包括:添加 EPEL 仓库,安装 Nginx,启动 Nginx,配置防火墙规则,最后通过访问服务器 IP 验证安装是否成功