centos 部署Hadoop-3.0-高性能集群(二)

简介: centos 部署Hadoop-3.0-高性能集群(二)

上一篇主要说的是安装

这一片说说怎么使用

启动  [hadoop@146 hadoop-3.0.0]$ ./sbin/start-all.sh

1、查看进程,此时master有进程:namenode secondarynamenode进程:

    ps -axu | grep namenode --color

147和120上有进程:DataNode

ps -axu | grep datanode --color

2、在146上启动yarn: ./sbin/start-yarn.sh  即,启动分布式计算

/home/hadoop/hadoop-3.0.0/sbin/start-yarn.sh

3、查看146上的ResourceManager进程,147和120进程:DataNode NodeManager

[root@146 ~]$ ps -axu | grep resourcemanager --color

[root@1467~]$ ps -axu | grep nodemanager --color

 

 

启动: jobhistory服务,查看mapreduce运行状态

[hadoop@146 ~]$ /home/hadoop/hadoop-3.0.0/sbin/mr-jobhistory-daemon.sh start historyserver

在主节点上启动存储服务和资源管理主服务。使用命令:

[hadoop@146 ~]$ /home/hadoop/hadoop-3.0.0/sbin/hadoop-daemon.sh start datanode     #启动从存储服务

[hadoop@146 ~]$ /home/hadoop/hadoop-3.0.0/sbin/yarn-daemon.sh start nodemanager            #启动资源管理从服务

查看HDFS分布式文件系统状态  /home/hadoop/hadoop-3.0.0/bin/hdfs dfsadmin -report

或:http://192.168.1.146:9870/dfshealth.html#tab-datanode

通过web界面来查看HDFS状态http://192.168.1.146:9001/status.html

通过Web查看hadoop集群状态:    http://192.168.1.146:8088

查看JobHistory的内容:http://192.168.1.146:19888/jobhistory

目录
相关文章
|
3天前
|
Shell Linux 应用服务中间件
centos系统内容器部署服务访问不到是因为run后面加了bash
centos系统内容器部署服务访问不到是因为run后面加了bash
|
4天前
|
SQL 弹性计算 分布式计算
实时计算 Flink版产品使用合集之如果产品是基于ak的,可以提交sql任务到ecs自建hadoop集群吗
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
15 0
|
5天前
|
存储 关系型数据库 Linux
CentOS如何使用Docker部署Plik服务并实现公网访问本地设备上传下载文件
CentOS如何使用Docker部署Plik服务并实现公网访问本地设备上传下载文件
33 4
|
5天前
|
存储 安全 网络协议
云服务器 Centos7 部署 Elasticsearch 8.0 + Kibana 8.0 指南
云服务器 Centos7 部署 Elasticsearch 8.0 + Kibana 8.0 指南
28 0
|
5天前
|
分布式计算 监控 Hadoop
Ganglia监控Hadoop与HBase集群
Ganglia监控Hadoop与HBase集群
|
5天前
|
SQL 存储 分布式计算
基于Hadoop数据仓库Hive1.2部署及使用
基于Hadoop数据仓库Hive1.2部署及使用
|
5天前
|
存储 分布式计算 Hadoop
基于Hadoop分布式数据库HBase1.0部署及使用
基于Hadoop分布式数据库HBase1.0部署及使用
|
5天前
|
负载均衡 监控 Linux
CentOS6.5高可用集群LVS+Keepalived(DR模式)
CentOS6.5高可用集群LVS+Keepalived(DR模式)
|
5天前
|
Linux 数据库 开发者
Centos7安装docker并部署halo建站
Docker 是一个开源的应用容器引擎,它允许开发者将应用及其依赖打包到可移植的容器中,然后在任何支持 Docker 的平台上运行。Docker 的核心概念包括镜像(Image)、容器(Container)和仓库(Repository)。镜像是创建容器的基础,容器是镜像的运行实例,而仓库是存储和分发镜像的中心仓库。 Docker 的优势在于快速、一致地交付应用,实现响应式部署和扩展,以及更高效地利用硬件资源。它常用于简化配置、代码流水线管理、提
47 0
|
分布式计算 Hadoop Linux
CentOS 7 集群部署 Hadoop 2.7.3
http://www.jianshu.com/p/1448d1550c8b
643 0

热门文章

最新文章