2021年全网最详细大数据常见端口汇总

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 2021年全网最详细大数据常见端口汇总

大数据常见端口汇总



一、Hadoop


50070:HDFS WEB UI端口

8020 : 高可用的HDFS RPC端口

9000 : 非高可用的HDFS RPC端口

8088 : Yarn 的WEB UI 接口

8485 : JournalNode 的RPC端口

8019 : ZKFC端口

19888:jobhistory WEB UI端口


Hadoop 3.x后,应用的端口有所调整,如下:


image.png

二、Zookeeper


2181 : 客户端连接zookeeper的端口

2888 : zookeeper集群内通讯使用,Leader监听此端口

3888 : zookeeper端口 用于选举leader


三、Hbase


16010:Apache的master的WEB UI端口

60010:CDH的master的WEB UI端口

60030:CDH的regionServer的WEB UI 管理端口


四、Hive


9083  :  metastore服务默认监听端口

10000:Hive 的JDBC端口


五、Spark


7077 : spark 的master与worker进行通讯的端口  standalone集群提交Application的端口

8080 : master的WEB UI端口   资源调度

8081 : worker的WEB UI 端口   资源调度

4040 : Driver的WEB UI 端口   任务调度

18080:Spark History Server的WEB UI 端口


六、Kafka


9092: Kafka集群节点之间通信的RPC端口


七、Flink


8081 : WEB UI 端口


注意:


Spark集群后再启动Flink会发现8081端口被Spark占用了

Kafka的zookeeper和Flink有冲突。

vim flink-conf.yaml

修改或添加(注意:后有一个空格,否则无法生效):

rest.port: 8082


八、Flume


#监听数据来源为本地的xxxx端口
a1.sources.r1.type = xxxx
a1.sources.r1.bind = ip
a1.sources.r1.port = xxxx


九、Redis


6379: Redis服务端口


十、CDH


7180: Cloudera Manager WebUI端口

7182: Cloudera Manager Server 与 Agent 通讯端口


十一、HUE


8888: Hue WebUI 端口



相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
6月前
|
SQL 分布式计算 资源调度
常用大数据组件的Web端口号总结
这是关于常用大数据组件Web端口号的总结。通过虚拟机名+端口号可访问各组件服务:Hadoop HDFS的9870,YARN的ResourceManager的8088和JobHistoryServer的19888,Zeppelin的8000,HBase的10610,Hive的10002。ZooKeeper的端口包括客户端连接的2181,服务器间通信的2888以及选举通信的3888。
199 2
常用大数据组件的Web端口号总结
|
6月前
|
大数据 Java 分布式数据库
使用记忆法打造你的大数据组件的默认端口号记忆宫殿
使用记忆法打造你的大数据组件的默认端口号记忆宫殿
55 0
|
6月前
|
大数据
大数据组件的默认端口号思维导图
大数据组件的默认端口号思维导图
55 0
|
运维 Oracle 关系型数据库
【大数据开发运维解决方案】kill占用指定端口进程(定时自动重启weblogic脚本)
上面是总结的定时自动重启weblogic脚本以及如果不慎用root启动weblogic后如何恢复oracle用户的运维。 1、通过ps-ef |grep命令找到想要杀死的进程信息,然后配合awk和sed组织好要杀死的进程清单对应的shell语句,并通过sh命令自动执行kill: ps -ef |grep /home/apache-tomcat-7.0.76/|awk 'NR>1 {print $2}' | sed -e "s/^/kill -9 /g" | sh -
【大数据开发运维解决方案】kill占用指定端口进程(定时自动重启weblogic脚本)
|
SQL 消息中间件 分布式计算
大数据hadoop常见端口
大数据常见端口汇总
733 0
大数据hadoop常见端口
|
SQL 消息中间件 分布式计算
|
1月前
|
存储 机器学习/深度学习 分布式计算
大数据技术——解锁数据的力量,引领未来趋势
【10月更文挑战第5天】大数据技术——解锁数据的力量,引领未来趋势
|
8天前
|
存储 分布式计算 数据挖掘
数据架构 ODPS 是什么?
数据架构 ODPS 是什么?
67 7
|
8天前
|
存储 分布式计算 大数据
大数据 优化数据读取
【11月更文挑战第4天】
23 2
|
21天前
|
数据采集 监控 数据管理
数据治理之道:大数据平台的搭建与数据质量管理
【10月更文挑战第26天】随着信息技术的发展,数据成为企业核心资源。本文探讨大数据平台的搭建与数据质量管理,包括选择合适架构、数据处理与分析能力、数据质量标准与监控机制、数据清洗与校验及元数据管理,为企业数据治理提供参考。
65 1
下一篇
无影云桌面