学习一:hadoop 1.0.1集群安装

简介:
用vmware搭建三台Linux虚拟机,具体步骤如下:

1、hadoop下载地址:http://www.apache.org/dyn/closer.cgi/hadoop/core/

2、下载java6软件包,分别在三台 安装

3、三台虚拟机,一台作为master,另外两台作为slave,分别配置/etc/hosts

    172.16.130.136   masternode
    172.16.130.137  slavenode1
    172.16.130.138  slavenode2

4、在三台主机/etc/profile设置环境变量

export JAVA_HOME=/usr/java/jdk1.6.0_13
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export HADOOP_HOME=/home/hduser/hadoop
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH

5、在三台机器上建立hadoop用户和组
    groupadd hadoop
    useradd -g hadoop hduser

6、在masternode节点创建SSH安全认证
 $ ssh-keygen -t rsa -P ""
 $cd .ssh
 $ cat id_rsa.pub>>authorized_keys
 $ssh masternode
 $ssh slavenode1
 $ssh slavenode2
将授权的文件分别拷贝到slavenode1和slavenode2,检查ssh登陆主机是否需要密码。

7、上传hadoop软件包到hadoop用户目录下解压
  tar xvf hadoop*.gz
 
8、添加$HADOOP_HOME/conf/hadoop-env.sh
   export JAVA_HOME=/usr/java/jdk1.6.0_13

9、编辑$HADOOP_HOME/conf/core-site.xml
<configuration>
 <property>
   <name>hadoop.tmp.dir</name>
   <value>/home/hduser/hadoop/tmp</value>
   <description>.</description>
 </property>
 <property>
   <name>fs.default.name</name>
   <value>hdfs://masternode:54310</value>
   <description> </description>
 </property>
</configuration>

10、编辑$HADOOP_HOME/conf/mapred-site.xml
<configuration>
<property>
  <name>mapred.job.tracker</name>
  <value>masternode:54311</value>
  <description>.  </description>
  </property>
</configuration>

11、编辑$HADOOP_HOME/conf/hdfs-site.xml
<configuration>
<property>
  <name>dfs.replication</name>
  <value>3</value>
  <description>. </description>
</property>
</configuration>

12、编辑$HADOOP_HOME/conf/masters
 masternode

13、编辑$HADOOP_HOME/conf/slaves
slavenode1
slavenode2

14、在所有机器上创建/home/hduser/hadoop/tmp

15、拷贝masternode上$HADOOP_HOME文件拷贝到各个节点上

16、在masternode进行格式化
 hadoop -namenode -format

17、启动
  start-all.sh
  jps命令查看

18、访问masternode http://172.16.130.136:50030

         访问slavenode http://172.16.130.137:50060

本文转自博客园知识天地的博客,原文链接:学习一:hadoop 1.0.1集群安装,如需转载请自行联系原博主。

相关文章
|
3月前
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
206 6
|
3月前
|
分布式计算 Hadoop 大数据
大数据体系知识学习(一):PySpark和Hadoop环境的搭建与测试
这篇文章是关于大数据体系知识学习的,主要介绍了Apache Spark的基本概念、特点、组件,以及如何安装配置Java、PySpark和Hadoop环境。文章还提供了详细的安装步骤和测试代码,帮助读者搭建和测试大数据环境。
93 1
|
3月前
|
分布式计算 Hadoop Shell
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
95 4
|
3月前
|
SQL 分布式计算 Hadoop
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(一)
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(一)
61 4
|
3月前
|
SQL 分布式计算 Hadoop
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
45 3
|
3月前
|
分布式计算 Hadoop Shell
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
69 3
|
3月前
|
SQL 存储 分布式计算
Hadoop-16-Hive HiveServer2 HS2 允许客户端远程执行HiveHQL HCatalog 集群规划 实机配置运行
Hadoop-16-Hive HiveServer2 HS2 允许客户端远程执行HiveHQL HCatalog 集群规划 实机配置运行
65 3
|
3月前
|
SQL 分布式计算 Hadoop
Hadoop-19 Flume Agent批量采集数据到HDFS集群 监听Hive的日志 操作则把记录写入到HDFS 方便后续分析
Hadoop-19 Flume Agent批量采集数据到HDFS集群 监听Hive的日志 操作则把记录写入到HDFS 方便后续分析
57 2
|
3月前
|
SQL 存储 数据管理
Hadoop-15-Hive 元数据管理与存储 Metadata 内嵌模式 本地模式 远程模式 集群规划配置 启动服务 3节点云服务器实测
Hadoop-15-Hive 元数据管理与存储 Metadata 内嵌模式 本地模式 远程模式 集群规划配置 启动服务 3节点云服务器实测
71 2
|
3月前
|
分布式计算 Java Hadoop
Hadoop-30 ZooKeeper集群 JavaAPI 客户端 POM Java操作ZK 监听节点 监听数据变化 创建节点 删除节点
Hadoop-30 ZooKeeper集群 JavaAPI 客户端 POM Java操作ZK 监听节点 监听数据变化 创建节点 删除节点
81 1