2021年全网最详细大数据常见端口汇总

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介: 2021年全网最详细大数据常见端口汇总

大数据常见端口汇总



一、Hadoop


50070:HDFS WEB UI端口

8020 : 高可用的HDFS RPC端口

9000 : 非高可用的HDFS RPC端口

8088 : Yarn 的WEB UI 接口

8485 : JournalNode 的RPC端口

8019 : ZKFC端口

19888:jobhistory WEB UI端口


Hadoop 3.x后,应用的端口有所调整,如下:


image.png

二、Zookeeper


2181 : 客户端连接zookeeper的端口

2888 : zookeeper集群内通讯使用,Leader监听此端口

3888 : zookeeper端口 用于选举leader


三、Hbase


16010:Apache的master的WEB UI端口

60010:CDH的master的WEB UI端口

60030:CDH的regionServer的WEB UI 管理端口


四、Hive


9083  :  metastore服务默认监听端口

10000:Hive 的JDBC端口


五、Spark


7077 : spark 的master与worker进行通讯的端口  standalone集群提交Application的端口

8080 : master的WEB UI端口   资源调度

8081 : worker的WEB UI 端口   资源调度

4040 : Driver的WEB UI 端口   任务调度

18080:Spark History Server的WEB UI 端口


六、Kafka


9092: Kafka集群节点之间通信的RPC端口


七、Flink


8081 : WEB UI 端口


注意:


Spark集群后再启动Flink会发现8081端口被Spark占用了

Kafka的zookeeper和Flink有冲突。

vim flink-conf.yaml

修改或添加(注意:后有一个空格,否则无法生效):

rest.port: 8082


八、Flume


#监听数据来源为本地的xxxx端口
a1.sources.r1.type = xxxx
a1.sources.r1.bind = ip
a1.sources.r1.port = xxxx


九、Redis


6379: Redis服务端口


十、CDH


7180: Cloudera Manager WebUI端口

7182: Cloudera Manager Server 与 Agent 通讯端口


十一、HUE


8888: Hue WebUI 端口



相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
8天前
|
SQL 分布式计算 资源调度
常用大数据组件的Web端口号总结
这是关于常用大数据组件Web端口号的总结。通过虚拟机名+端口号可访问各组件服务:Hadoop HDFS的9870,YARN的ResourceManager的8088和JobHistoryServer的19888,Zeppelin的8000,HBase的10610,Hive的10002。ZooKeeper的端口包括客户端连接的2181,服务器间通信的2888以及选举通信的3888。
19 2
常用大数据组件的Web端口号总结
|
5月前
|
大数据 Java 分布式数据库
使用记忆法打造你的大数据组件的默认端口号记忆宫殿
使用记忆法打造你的大数据组件的默认端口号记忆宫殿
32 0
|
5月前
|
大数据
大数据组件的默认端口号思维导图
大数据组件的默认端口号思维导图
25 0
|
运维 Oracle 关系型数据库
【大数据开发运维解决方案】kill占用指定端口进程(定时自动重启weblogic脚本)
上面是总结的定时自动重启weblogic脚本以及如果不慎用root启动weblogic后如何恢复oracle用户的运维。 1、通过ps-ef |grep命令找到想要杀死的进程信息,然后配合awk和sed组织好要杀死的进程清单对应的shell语句,并通过sh命令自动执行kill: ps -ef |grep /home/apache-tomcat-7.0.76/|awk 'NR>1 {print $2}' | sed -e "s/^/kill -9 /g" | sh -
【大数据开发运维解决方案】kill占用指定端口进程(定时自动重启weblogic脚本)
|
SQL 消息中间件 分布式计算
大数据hadoop常见端口
大数据常见端口汇总
616 0
大数据hadoop常见端口
|
SQL 消息中间件 分布式计算
|
5月前
|
Ubuntu 关系型数据库 MySQL
百度搜索:蓝易云【ubuntu20.4服务器安装mysql社区版并开放3306端口】
现在,你已经在Ubuntu 20.04服务器上成功安装了MySQL社区版,并且已经开放了3306端口,可以通过该端口访问MySQL服务器了。请确保在生产环境中设置安全措施,例如设置强密码、限制访问等,以保护数据库的安全性。
98 2
|
4月前
|
Java Nacos Docker
在集成nacos时,端口9848报错但服务器的这个端口是开放的
在集成nacos时,端口9848报错但服务器的这个端口是开放的【1月更文挑战第14天】【1月更文挑战第67篇】
336 1
|
2月前
|
安全 Windows
服务器中如何检查端口是否开放
服务器中如何检查端口是否开放
|
14天前
|
Ubuntu 网络安全 数据安全/隐私保护
使用SSH隧道将Ubuntu云服务器Jupyter Notebook端口映射到本地
这样,你就成功地将Ubuntu云服务器上的Jupyter Notebook端口映射到本地,使你能够通过本地浏览器访问并使用Jupyter Notebook。
36 1