开发者社区> fhjliisadfhksjdhg> 正文

2021年大数据环境命令(一):常用命令汇总

简介: 2021年大数据环境命令(一):常用命令汇总
+关注继续查看

汇总Hadoop Hive ZooKeeper HBase Kafka等常见命令


Hadoop命令


# Hadoop一键启动命令
# 启动HDFS
start-dfs.sh
# 启动Yarn
start-yarn.sh
# 启动历史任务服务进程
mr-jobhistory-daemon.sh start historyserver
# 快速重启和停止
stop-all.sh start-all.sh
# 停止集群
stop-dfs.sh
stop-yarn.sh
mr-jobhistory-daemon.sh stop historyserver
Hive命令
# 首先启动metastore服务,然后启动hiveserver2服务
nohup /export/server/hive-2.1.0/bin/hive --service metastore &
nohup /export/server/hive-2.1.0/bin/hive --service hiveserver2 &
# 一键启动脚本
expect /export/server/beenline.exp
set hive.exec.mode.local.auto=true; --开启本地mr
ZooKeeper命令
# 开启zk
zkServer.sh start
# 关闭zk
zkServer.sh stop
# 查看zk状态
zkServer.sh status
HBase命令 
# 单节点启动
start-hbase.sh
# 关闭
stop-hbase.sh
# 单独启动节点(高可用启用)
hbase-daemon.sh start master
hbase-daemon.sh start regionserver
关闭
hbase-daemon.sh stop regionserve
hbase-daemon.sh stop master
# HBase客户端进入
hbase shell
# 开启phoenix客户端
cd /export/server/apache-phoenix-5.0.0-HBase-2.0-bin/
bin/sqlline.py node1:2181


Kafka命令


# kafka开启
cd /export/server/kafka_2.12-2.4.1/bin
./kafka-server-start.sh ../config/server.properties
# 一键集群开启
cd /export/onekey
start-kafka.sh # 开启
stop-kafka.sh # 关闭
# 常用案例
./kafka-topics.sh  --create  --zookeeper node1:2181,node2:2181,node3:2181  --topic test01 --partitions 3  --replication-factor 3
./kafka-topics.sh  --alter --zookeeper node1:2181,node2:2181,node3:2181 --topic test02 --partitions 6
./kafka-topics.sh  --list  --zookeeper node1:2181,node2:2181,node3:2181
./kafka-topics.sh  --describe  --zookeeper node1:2181,node2:2181,node3:2181  --topic test01
./kafka-console-producer.sh  --broker-list  node1:9092,node2:9092,node3:9092 --topic test02
./kafka-console-consumer.sh  --bootstrap-server node1:9092,node2:9092,node3:9092 --topic test02
./kafka-topics.sh  --zookeeper node1:2181,node2:2181,node3:2181 --create --topic benchmark  --partitions 1 --replication-factor 1

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
如何设置阿里云服务器安全组?阿里云安全组规则详细解说
阿里云安全组设置详细图文教程(收藏起来) 阿里云服务器安全组设置规则分享,阿里云服务器安全组如何放行端口设置教程。阿里云会要求客户设置安全组,如果不设置,阿里云会指定默认的安全组。那么,这个安全组是什么呢?顾名思义,就是为了服务器安全设置的。安全组其实就是一个虚拟的防火墙,可以让用户从端口、IP的维度来筛选对应服务器的访问者,从而形成一个云上的安全域。
18983 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,阿里云优惠总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系.
28207 0
阿里云服务器安全组设置内网互通的方法
虽然0.0.0.0/0使用非常方便,但是发现很多同学使用它来做内网互通,这是有安全风险的,实例有可能会在经典网络被内网IP访问到。下面介绍一下四种安全的内网互联设置方法。 购买前请先:领取阿里云幸运券,有很多优惠,可到下文中领取。
22138 0
阿里云服务器ECS登录用户名是什么?系统不同默认账号也不同
阿里云服务器Windows系统默认用户名administrator,Linux镜像服务器用户名root
15679 0
阿里云服务器端口号设置
阿里云服务器初级使用者可能面临的问题之一. 使用tomcat或者其他服务器软件设置端口号后,比如 一些不是默认的, mysql的 3306, mssql的1433,有时候打不开网页, 原因是没有在ecs安全组去设置这个端口号. 解决: 点击ecs下网络和安全下的安全组 在弹出的安全组中,如果没有就新建安全组,然后点击配置规则 最后如上图点击添加...或快速创建.   have fun!  将编程看作是一门艺术,而不单单是个技术。
20232 0
阿里云服务器怎么设置密码?怎么停机?怎么重启服务器?
如果在创建实例时没有设置密码,或者密码丢失,您可以在控制台上重新设置实例的登录密码。本文仅描述如何在 ECS 管理控制台上修改实例登录密码。
23540 0
腾讯云服务器 设置ngxin + fastdfs +tomcat 开机自启动
在tomcat中新建一个可以启动的 .sh 脚本文件 /usr/local/tomcat7/bin/ export JAVA_HOME=/usr/local/java/jdk7 export PATH=$JAVA_HOME/bin/:$PATH export CLASSPATH=.
14873 0
342
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
JS零基础入门教程(上册)
立即下载
性能优化方法论
立即下载
手把手学习日志服务SLS,云启实验室实战指南
立即下载