Hadoop学习第四天之hadoop命令操作(下)

本文涉及的产品
访问控制,不限时长
简介: Hadoop学习第四天之hadoop命令操作(下) 1.   Hadoop dfsadmin #启动dfs admin客户端 -report  #报告当前集群的节点信息 -safemode  enter   #进入安全模式 -safemode  leave   #离开安全模式 -safemode  get    #获取安全模式状态 -safemode 

Hadoop学习第四天之hadoop命令操作(下)

1.   Hadoop dfsadmin #启动dfs admin客户端


-report  #报告当前集群的节点信息


-safemode  enter   #进入安全模式
-safemode  leave   #离开安全模式
-safemode  get    #获取安全模式状态
-safemode  wait   #等待,直到安全模式结束


-saveNamespace  #开启保存命名空间,必须开启安全模式


-refreshNodes  刷新集群的datanode节点
 

-finalizeUpgrade  #升级时先删除现有备份


-upgradeProgress  status  #查询集群升级的状态
-upgradeProgress  details  #查询集群升级的详细状态信息
-upgradeProgress  force  #强制升级


-metesave  <fileName>  #将元信息保存在hdfs上的指定文件中


-refreshServiceAcl 刷新服务的访问控制列表,Namenode将会重新加载访问控制列表


-refreshUserToGroupsMappings  #刷新用户到组的映射关系


-refreshSuperUserGroupsConfiguration  #刷新超级用户代理组的映射


-setQuota <quota>  <dirname>…<dirname>  #为每个目录dirname设置配额,不能在安全模式下


-clrQuota <dirname>…<dirname> #清除每个dirname的配额


-setSpaceQuota <quota> <dirname> …. <dirname> #设置磁盘空间配额


-clrSpaceQuota  <dirname> ….<dirname> #清除磁盘空间配额


- setBalancerBandwidth <bandwidth in bytes per second> #平衡各节点数据的带宽大小。此例设置带宽为500M/s


-help  [cmd] 显示命令的帮助信息


2.   Hadoop  mradmin #启动MapReduce admin客户端


-refreshServiceAcl #刷新服务的访问控制列表,MapReduce重新载入访问控制列表


-refreshQueues  #刷新MapReduce的队列


-refreshUserToGroupsMappings #刷新用户到组的映射关系 


 

-refreshSuperUserGroupsConfiguration #刷新超级用户代理组的映射


-refreshNodes  #刷新tasktrackers节点集群


-safemode  enter #开启MapReduce的安全模式
-safemode leave #离开MapReduce的安全模式
-safemode get  #获取MapReduce的安全模式状态
-safemode wait #等待MapReduce的安全模式结束


-help [cmd] #查看命名的描述
 
3.    hadoop namenode  –format  #Hadoop的namenode节点格式化
4.    hadoop secondary namenode #启动secondarynamenode ,因为secondarynamenode已经启动,需要先关闭后重新启动


5.    hadoop namenode #单独运行dfs的namenode节点,如果节点已经启动,需要先关闭,然后重新启动


6.    hadoop datanode #单独运行dfs的datanode节点,如果节点已经启动,需要先关闭,然后重新启动

 
7.    hadoop fsck  #运行dfs文件系统的检查命令


8.    hadoop  balancer #运行集群的平衡策略


9.    hadoop  fetchdt  # 获取namenode的授权  


 

10.   hadoop  jobtracker #运行MapReduce的jobTracker,如果jobtracker已经启动,会提示地址已经被占用。


11.  hadoop pipes  #运行管道job 
 
12.  hadoop tasktracker  #运行MapReduce的tasktracker 节点,如果当前节点已经启动tasktracker,会提示地址已经被占用


13.  hadoop historyserver  #运行job的历史服务作为一个独立的守护进程


14.  hadoop job  #调整MapReduce的job 


 

15.  hadoop queue #获取job队列的相关信息


16.  hadoop version  #打印版本


17.  hadoop jar <jar> #运行编写好的jar文件
18.  hadoop distcp <srcurl> <desturl>  #复制文件和目录
19.  hadoop archive -archiveName NAME -p <parent path> <src>*<dest> #创建一个Hadoop的存档
相关实践学习
消息队列+Serverless+Tablestore:实现高弹性的电商订单系统
基于消息队列以及函数计算,快速部署一个高弹性的商品订单系统,能够应对抢购场景下的高并发情况。
云安全基础课 - 访问控制概述
课程大纲 课程目标和内容介绍视频时长 访问控制概述视频时长 身份标识和认证技术视频时长 授权机制视频时长 访问控制的常见攻击视频时长
相关文章
|
2月前
|
分布式计算 Hadoop 大数据
大数据体系知识学习(一):PySpark和Hadoop环境的搭建与测试
这篇文章是关于大数据体系知识学习的,主要介绍了Apache Spark的基本概念、特点、组件,以及如何安装配置Java、PySpark和Hadoop环境。文章还提供了详细的安装步骤和测试代码,帮助读者搭建和测试大数据环境。
83 1
|
2月前
|
SQL 分布式计算 Hadoop
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(一)
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(一)
57 4
|
2月前
|
SQL
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(二)
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(二)
43 2
|
2月前
|
分布式计算 监控 Hadoop
Hadoop-29 ZooKeeper集群 Watcher机制 工作原理 与 ZK基本命令 测试集群效果 3台公网云服务器
Hadoop-29 ZooKeeper集群 Watcher机制 工作原理 与 ZK基本命令 测试集群效果 3台公网云服务器
49 1
|
3月前
|
资源调度 分布式计算 Hadoop
使用YARN命令管理Hadoop作业
本文介绍了如何使用YARN命令来管理Hadoop作业,包括查看作业列表、检查作业状态、杀死作业、获取作业日志以及检查节点和队列状态等操作。
76 1
使用YARN命令管理Hadoop作业
|
4月前
|
分布式计算 资源调度 Hadoop
Hadoop入门基础(五):Hadoop 常用 Shell 命令一网打尽,提升你的大数据技能!
Hadoop入门基础(五):Hadoop 常用 Shell 命令一网打尽,提升你的大数据技能!
|
5月前
|
分布式计算 Hadoop
hadoop格式化HDFS的命令
【7月更文挑战第21天】
582 5
|
5月前
|
分布式计算 资源调度 Hadoop
Hadoop执行格式化命令
【7月更文挑战第20天】
136 1
|
6月前
|
分布式计算 Hadoop Java
|
6月前
|
分布式计算 Hadoop Shell
分布式系统详解--框架(Hadoop-基本shell命令)
分布式系统详解--框架(Hadoop-基本shell命令)
42 0

相关实验场景

更多