2021年全网最详细大数据常见端口汇总

本文涉及的产品
实时计算 Flink 版,1000CU*H 3个月
云原生网关 MSE Higress,422元/月
任务调度 XXL-JOB 版免费试用,400 元额度,开发版规格
简介: 2021年全网最详细大数据常见端口汇总

大数据常见端口汇总



一、Hadoop


50070:HDFS WEB UI端口

8020 : 高可用的HDFS RPC端口

9000 : 非高可用的HDFS RPC端口

8088 : Yarn 的WEB UI 接口

8485 : JournalNode 的RPC端口

8019 : ZKFC端口

19888:jobhistory WEB UI端口


Hadoop 3.x后,应用的端口有所调整,如下:


image.png

二、Zookeeper


2181 : 客户端连接zookeeper的端口

2888 : zookeeper集群内通讯使用,Leader监听此端口

3888 : zookeeper端口 用于选举leader


三、Hbase


16010:Apache的master的WEB UI端口

60010:CDH的master的WEB UI端口

60030:CDH的regionServer的WEB UI 管理端口


四、Hive


9083  :  metastore服务默认监听端口

10000:Hive 的JDBC端口


五、Spark


7077 : spark 的master与worker进行通讯的端口  standalone集群提交Application的端口

8080 : master的WEB UI端口   资源调度

8081 : worker的WEB UI 端口   资源调度

4040 : Driver的WEB UI 端口   任务调度

18080:Spark History Server的WEB UI 端口


六、Kafka


9092: Kafka集群节点之间通信的RPC端口


七、Flink


8081 : WEB UI 端口


注意:


Spark集群后再启动Flink会发现8081端口被Spark占用了

Kafka的zookeeper和Flink有冲突。

vim flink-conf.yaml

修改或添加(注意:后有一个空格,否则无法生效):

rest.port: 8082


八、Flume


#监听数据来源为本地的xxxx端口
a1.sources.r1.type = xxxx
a1.sources.r1.bind = ip
a1.sources.r1.port = xxxx


九、Redis


6379: Redis服务端口


十、CDH


7180: Cloudera Manager WebUI端口

7182: Cloudera Manager Server 与 Agent 通讯端口


十一、HUE


8888: Hue WebUI 端口



相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
SQL 分布式计算 资源调度
常用大数据组件的Web端口号总结
这是关于常用大数据组件Web端口号的总结。通过虚拟机名+端口号可访问各组件服务:Hadoop HDFS的9870,YARN的ResourceManager的8088和JobHistoryServer的19888,Zeppelin的8000,HBase的10610,Hive的10002。ZooKeeper的端口包括客户端连接的2181,服务器间通信的2888以及选举通信的3888。
539 2
常用大数据组件的Web端口号总结
|
大数据 Java 分布式数据库
使用记忆法打造你的大数据组件的默认端口号记忆宫殿
使用记忆法打造你的大数据组件的默认端口号记忆宫殿
179 0
|
大数据
大数据组件的默认端口号思维导图
大数据组件的默认端口号思维导图
111 0
|
运维 Oracle 关系型数据库
【大数据开发运维解决方案】kill占用指定端口进程(定时自动重启weblogic脚本)
上面是总结的定时自动重启weblogic脚本以及如果不慎用root启动weblogic后如何恢复oracle用户的运维。 1、通过ps-ef |grep命令找到想要杀死的进程信息,然后配合awk和sed组织好要杀死的进程清单对应的shell语句,并通过sh命令自动执行kill: ps -ef |grep /home/apache-tomcat-7.0.76/|awk 'NR>1 {print $2}' | sed -e "s/^/kill -9 /g" | sh -
【大数据开发运维解决方案】kill占用指定端口进程(定时自动重启weblogic脚本)
|
SQL 消息中间件 分布式计算
大数据hadoop常见端口
大数据常见端口汇总
871 0
大数据hadoop常见端口
|
SQL 消息中间件 分布式计算
|
2月前
|
机器学习/深度学习 传感器 分布式计算
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
190 14
|
4月前
|
数据采集 分布式计算 DataWorks
ODPS在某公共数据项目上的实践
本项目基于公共数据定义及ODPS与DataWorks技术,构建一体化智能化数据平台,涵盖数据目录、归集、治理、共享与开放六大目标。通过十大子系统实现全流程管理,强化数据安全与流通,提升业务效率与决策能力,助力数字化改革。
167 4
|
3月前
|
机器学习/深度学习 运维 监控
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
153 0
|
2月前
|
传感器 人工智能 监控
数据下田,庄稼不“瞎种”——聊聊大数据如何帮农业提效
数据下田,庄稼不“瞎种”——聊聊大数据如何帮农业提效
142 14

热门文章

最新文章