Hadoop-2.2.0中文文档—— Common - CLI MiniCluster

简介:

目的

使用 CLI MiniCluster, 用户能够简单地仅仅用一个命令就启动或关闭一个单一节点的Hadoop集群,不须要设置不论什么环境变量或管理配置文件。 CLI MiniCluster 同一时候启动一个 YARN/MapReduce 和 HDFS 集群。

这对那些想要高速体验一个真实的Hadoop集群或是測试依赖明显的Hadoop函数的非Java程序 的用户非常实用。

Hadoop Tarball

你须要从公布页获取tar包。或者。你能够从源代码中自己编译。

$ mvn clean install -DskipTests
$ mvn package -Pdist -Dtar -DskipTests -Dmaven.javadoc.skip

注意: 你须要事先安装有 protoc 2.5.0 。

tar包应该在 hadoop-dist/target/ 文件夹.

执行 MiniCluster

从解压出的tar包的根文件夹。你能够用以下的命令启动 CLI MiniCluster :

$ bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.2.0-tests.jar minicluster -rmport RM_PORT -jhsport JHS_PORT

在上面的命令演示样例中,RM_PORT 和 JHS_PORT 应该由用户的port号替换。假设不指定。会随机使用空暇的port。

命令行參数中有一个数字,用户能够用来控制启动哪个服务。或者传递别的属性。可用的命令行參数例如以下:

$ -D <property=value>    Options to pass into configuration object
$ -datanodes <arg>       启动多少个 datanodes  (默认是 1)
$ -format                格式化 DFS (默认是 false)
$ -help                  打印帮助选项
$ -jhsport <arg>         JobHistoryServer 端口 (默认是 0--我们选的)
$ -namenode <arg>        namenode 的 URL  (默认 要么是 DFS 集群,要么是暂时文件夹)
$ -nnport <arg>          NameNode 端口 (默认是 0--我们选的)
$ -nodemanagers <arg> 要启动多少个 nodemanagers(默认是 1) $ -nodfs 不启动一个 mini DFS 集群 $ -nomr Don't start a mini MR cluster $ -rmport <arg> ResourceManager 端口 (默认是 0--我们选的)
$ -writeConfig <path> 保存配置文件到这个XML文件中。 $ -writeDetails <path> 写出基本信息到这个JSON文件中。

要显示可用的參数的全列表。用户能够传-help參数给上面的命令。







本文转自mfrbuaa博客园博客,原文链接:http://www.cnblogs.com/mfrbuaa/p/5389794.html,如需转载请自行联系原作者 

相关文章
|
存储 分布式计算 Hadoop
【Hadoop Summit Tokyo 2016】Hadoop Common与HDFS中有什么新特性?
本讲义出自Tsuyoshi Ozawa在Hadoop Summit Tokyo 2016上的演讲,主要分享了Hadoop 3 Common与HDFS出现的新特性,因为新版本的Hadoop运行在JDK8上,在应用构建的过程中,所以需要使用JDK8编译源代码,并且新版本的Hadoop具有更好的库管理,并且支持Azure数据湖泊存储,最后还分享了关于脚本重写与Apache Kafka的metrics2插件的相关内容。
1595 0
|
分布式计算 Hadoop
Hadoop Common源码分析之服务Service
        Service是定义Hadoop中服务生命周期的一个接口。Service内部定义了服务的状态及生命周期,在服务被构造后,其一个生命周期内的状态为NOTINITED未初始化--INITED已初始化--已启动STARTED--已停止STOPPED,而这一生命周期内服务状态的变化,...
1039 0
|
分布式计算 Hadoop 存储
Hadoop Common源码分析之SerializationFactory、Serialization
        SerializationFactory是Hadoop中的一个序列化器工厂,它除了用来存储序列化器种类、更新序列化器相关配置信息,还提供了根据指定待序列化类获取相匹配的序列化器和反序列化器的功能。
1068 0