1. Hadoop 基本命令
1.1 查看版本信息
hadoop version
用于检查 Hadoop 的版本信息以及编译信息。
1.2 启动和停止 Hadoop 集群
start-dfs.sh start-yarn.sh stop-dfs.sh stop-yarn.sh
start-dfs.sh 和 stop-dfs.sh 分别用于启动和停止 HDFS，而 start-yarn.sh 和 stop-yarn.sh 用于管理 YARN 服务。
1.3 格式化 HDFS
hdfs namenode -format
首次安装 Hadoop 后，需要格式化 HDFS。这会清除所有数据，因此仅在初次设置或重置集群时执行。
2. HDFS 相关命令
2.1 HDFS 目录与文件管理
- 列出目录内容：
hdfs dfs -ls /path/to/directory
- 创建新目录：
hdfs dfs -mkdir /path/to/new_directory
- 上传文件到 HDFS：
hdfs dfs -put /local/path/to/file /hdfs/path/to/destination
- 从 HDFS 下载文件：
hdfs dfs -get /hdfs/path/to/file /local/path/to/destination
- 删除文件或目录：
hdfs dfs -rm /hdfs/path/to/file hdfs dfs -rm -r /hdfs/path/to/directory
2.2 查看文件内容
hdfs dfs -cat /hdfs/path/to/file
用于查看HDFS中文件的内容。
2.3 文件系统检查
hdfs fsck /
检查 HDFS 的健康状况，显示文件、块和副本的分布信息。
3. MapReduce 相关命令
3.1 运行 MapReduce 示例程序
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount /input /output
运行 Hadoop 提供的示例程序，这里以 wordcount 为例。
3.2 查看 MapReduce 作业状态
hadoop job -status job_id
用于查询作业的当前状态。
4. YARN 相关命令
4.1 列出所有运行中的应用
yarn application -list
列出所有当前正在 YARN 上运行的应用程序。
4.2 杀死 YARN 应用
yarn application -kill application_id
停止指定的 YARN 应用程序。
4.3 查看应用程序日志
yarn logs -applicationId application_id
获取特定应用程序的日志信息。
5. 其他常用命令
5.1 查看 Hadoop 集群报告
hdfs dfsadmin -report
显示 HDFS 集群的整体健康状况和配置状态。
5.2 安全模式操作
- 进入安全模式：
hdfs dfsadmin -safemode enter
- 离开安全模式：
hdfs dfsadmin -safemode leave
- 查看安全模式状态：
hdfs dfsadmin -safemode get
总结
以上命令涵盖了日常使用 Hadoop 时最常见的操作，掌握这些命令可以帮助你更轻松地管理和维护 Hadoop 集群。通过熟练使用这些命令，你将能够更加自信地应对各种 Hadoop 相关的任务。
