hadoop常用进程和web端口整理

本文涉及的产品
任务调度 XXL-JOB 版免费试用,400 元额度,开发版规格
云原生网关 MSE Higress,422元/月
MSE Nacos/ZooKeeper 企业版试用,1600元额度,限量50份
简介: 应用场景 Hadoop部署完分布式集群后,运行了一些组件,会产生很多进程,和web可以访问的端口,容易混淆,这里把一些常见的进程,进程的作用和端口进行归纳,总结,方便区分。

应用场景

Hadoop部署完分布式集群后,运行了一些组件,会产生很多进程,和web可以访问的端口,容易混淆,这里把一些常见的进程,进程的作用和端口进行归纳,总结,方便区分。

操作步骤

1. HDFS进程及端口

HDFS启动后包含的进程有:NameNode,DataNode,SecondaryNameNode

启动方法,在主节点:

 #  cd /opt/hadoop2.6.0/sbin/
 #  ./start-dfs.sh

启动完后访问端口为50070,通过主节点IP加上端口即可访问:

这里写图片描述

2. YARN进程及端口

YARN启动后包含的进程有:Resourcemanager,NodeManager

启动方法,在主节点:

 # cd /opt/hadoop2.6.0/sbin/ 
 # ./start-yarn.sh

启动完后访问端口为8088,通过主节点IP加上端口即可访问:

这里写图片描述

3. ZooKeeper进程

Zookeeper启动后包含的进程是:QuorumPeerMain

注:
HQuorumPeer进程是hbase管理的zookeeper
QuorumPeerMain进程就是zookeeper独立的进程

也就是说,如果您用的是hbase的zookeeper,那么就是HQuorumPeer进程

启动方法,在需要启动ZooKeeper的节点上:

 # cd /opt/zookeeper3.4.10/bin/ 
 # zkServer.sh start

4. HBASE进程及端口

Hbase启动后包含的进程有 : HMaster,HRegionServer

启动方法,在主节点:

 # cd /opt/hbase1.2.6/bin 
 # ./start-hbase.sh

启动完后访问端口为16010,通过主节点IP加上端口即可访问:

这里写图片描述

5. Spark进程及端口

Spark启动后包含的进程有 : Master Worker

启动方法,在主节点:

 # cd /opt/spark1.6.1/sbin 
 # ./start-all.sh

启动完后访问端口为8080,通过主节点IP加上端口即可访问:【资源监控地址master】

这里写图片描述

启动后4040任务监控端口并没有开启,需要spark-shell –master spark://hadoop0:7077,执行:【任务监控地址Drive】

这里写图片描述

注意:

  spark-shelllocal模式,在4040端口监控任务】
  spark-shell --master spark://hadoop0:7077  【standalone模式,在8080端口监控任务】
  spark-shell --master yarn-client          【yarn-client模式,在yarn 8088端口监控任务】
  spark-shell --master yarn-cluster         【yarn-cluster模式,在yarn 8088端口监控任务】
目录
相关文章
杀死本地80端口被占用的进程,还你一片宁静乐土
杀死本地80端口被占用的进程,还你一片宁静乐土
|
网络协议 Linux
Linux查看端口监听情况,以及Linux查看某个端口对应的进程号和程序
Linux查看端口监听情况,以及Linux查看某个端口对应的进程号和程序
1180 2
|
7月前
|
网络协议 Java Shell
java spring 项目若依框架启动失败,启动不了服务提示端口8080占用escription: Web server failed to start. Port 8080 was already in use. Action: Identify and stop the process that’s listening on port 8080 or configure this application to listen on another port-优雅草卓伊凡解决方案
java spring 项目若依框架启动失败,启动不了服务提示端口8080占用escription: Web server failed to start. Port 8080 was already in use. Action: Identify and stop the process that’s listening on port 8080 or configure this application to listen on another port-优雅草卓伊凡解决方案
382 7
|
11月前
|
运维 Linux
Linux查找占用的端口,并杀死进程的简单方法
通过上述步骤和命令,您能够迅速识别并根据实际情况管理Linux系统中占用特定端口的进程。为了获得更全面的服务器管理技巧和解决方案,提供了丰富的资源和专业服务,是您提升运维技能的理想选择。
632 1
|
网络协议
Mac根据端口查询进程id的命令
这篇文章介绍了在Mac操作系统上如何使用两种命令来查询监听特定端口的进程ID。第一种方法是使用`netstat -anp tcp -v | grep 端口号`,例如`netstat -anp tcp -v | grep 80`,这将列出所有使用端口80的TCP连接及其相关信息。第二种方法是使用`lsof -P -n -i:端口号`,例如`lsof -P -n -i:8080`,这将显示使用指定端口的进程列表,包括进程ID、用户、文件描述符等信息。文章通过示例展示了如何使用这些命令,并提供了输出结果的截图。
849 2
|
11月前
通过进程识别号查看SQLserve端口号
通过进程识别号查看SQLserve端口号
88 0
Windows中如何查看被占用的端口、杀掉对应的进程
这篇文章介绍了在Windows系统中如何查看被占用的端口号以及如何杀掉占用端口的进程,包括使用命令提示符的`netstat -ano | findstr 端口号`命令查找进程PID,然后通过任务管理器或`taskkill /PID PID号`命令来结束进程。
Windows中如何查看被占用的端口、杀掉对应的进程
|
存储 分布式计算 资源调度
|
运维 Python Windows
如何通过Python脚本查找并终止占用指定端口的进程
在日常的开发和运维过程中,某些端口被意外占用是一个常见的问题。这种情况可能导致服务无法启动或冲突。本文将介绍如何通过Python脚本查找并终止占用指定端口的进程,以确保系统的正常运行。
|
SQL 分布式计算 资源调度
常用大数据组件的Web端口号总结
这是关于常用大数据组件Web端口号的总结。通过虚拟机名+端口号可访问各组件服务:Hadoop HDFS的9870,YARN的ResourceManager的8088和JobHistoryServer的19888,Zeppelin的8000,HBase的10610,Hive的10002。ZooKeeper的端口包括客户端连接的2181,服务器间通信的2888以及选举通信的3888。
486 2
常用大数据组件的Web端口号总结