hadoop环境初始化搭建

简介:

一、首先把hadoop二进制包和jdk的文件包download下来,并放置到合适目录的路径来解压(步骤省略)

二、在主机器上的hadoop解压出来的目录创建一个目录是专门放置hdfs的文件,把解压好的jdk包传去从的机器那

三、添加环境变量
设置JDK的环境变量 JAVA_HOME。需要修改配置文件/etc/profile最后来追加一下内容:
export JAVA_HOME=/usr/local/src/jdk1.6.0_45
#export JRE_HOME=$JAVA_HOME/jre
export PATH=$JAVE_HOME/bin:$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/lib

修改完毕后,执行 source /etc/profile

执行 java –version,可以看见已经安装完成。
[root@spark ~]# java -version
java version "1.6.0_45"
Java(TM) SE Runtime Environment (build 1.6.0_45-b06)
Java HotSpot(TM) 64-Bit Server VM (build 20.45-b01, mixed mode)

四、修改好/etc/hosts和/etc/sysconfig/network(一主两从)
hadoop环境初始化搭建

五、部署好公钥,然后cat id_rsa.pub >> authorized_keys
六、把hosts、authorized_keys文件和/etc/profile传过去从的机器。
七、编辑hadoop的文件
hadoop环境初始化搭建
hadoop环境初始化搭建
hadoop环境初始化搭建

在hadoop/conf里的hadoop_env.sh最后那里添加java环境变量的位置
export JAVA_HOME=/usr/local/src/jdk1.6.0_45

八、把已经主机配置好的hadoop,整个目录scp到从的机器那里
九、在主机上hadoop的bin目录执行:
① ./hadoop namenode -format
② ./start-all.sh
十、检查一下hadoop环境有没问题
hadoop环境初始化搭建




     本文转自wsw26 51CTO博客,原文链接:http://blog.51cto.com/wsw26/2050284,如需转载请自行联系原作者




相关文章
|
22天前
|
分布式计算 资源调度 Hadoop
Hadoop节点资源扩展环境部署
【4月更文挑战第16天】扩展Hadoop集群涉及多个步骤:准备新节点,配置静态IP,安装并配置Hadoop,将新节点添加到集群,验证测试,及优化调整。确保符合硬件需求,更新集群节点列表,执行`hdfs dfsadmin -refreshNodes`命令,检查新节点状态,并依据测试结果优化性能。注意不同环境可能需要调整具体步骤,建议参照官方文档并在测试环境中预演。
25 4
|
5月前
|
分布式计算 Hadoop Java
我用免费白拿的服务器搭建了一台基于CentOS7的Hadoop3.x伪分布式环境
我用免费白拿的服务器搭建了一台基于CentOS7的Hadoop3.x伪分布式环境
60 0
|
6月前
|
分布式计算 Hadoop Java
搭建Hadoop环境
搭建Hadoop环境
112 0
|
28天前
|
存储 分布式计算 Hadoop
[绝对要收藏]配置hadoop完全分布式环境
[绝对要收藏]配置hadoop完全分布式环境
23 0
|
1月前
|
分布式计算 Hadoop Java
Hadoop【环境搭建 01】【hadoop-3.1.3 单机版】【Linux环境 腾讯云 CentOS Linux release 7.5.1804】【详细】
Hadoop【环境搭建 01】【hadoop-3.1.3 单机版】【Linux环境 腾讯云 CentOS Linux release 7.5.1804】【详细】
52 0
|
7月前
|
分布式计算 Hadoop Java
Hadoop伪分布式环境部署(非脚本)
本实验基于ECS云服务器(centOS7.7)搭建Hadoop伪分布式环境,并通过运行一个MapReduce示例程序熟悉Hadoop平台的使用。
|
4月前
|
分布式计算 安全 Hadoop
百度搜索:蓝易云【centos7系统搭建Hadoop环境教程】
这些是在CentOS 7上搭建Hadoop环境的基本步骤。根据您的需求和具体环境,可能还需要进行其他配置和调整。确保在进行任何与网络连接和安全相关的操作之前,详细了解您的网络环境和安全需求,并采取适当的安全措施。
71 0
|
5月前
|
分布式计算 Hadoop Java
Hadoop【部署 01】腾讯云Linux环境CentOS Linux release 7.5.1804单机版hadoop-3.1.3详细安装步骤(安装+配置+初始化+启动脚本+验证)
Hadoop【部署 01】腾讯云Linux环境CentOS Linux release 7.5.1804单机版hadoop-3.1.3详细安装步骤(安装+配置+初始化+启动脚本+验证)
95 0
|
5月前
|
分布式计算 Hadoop Windows
解决Windows环境下hadoop集群的运行
解决Windows环境下hadoop集群的运行
38 0
|
8月前
|
弹性计算 分布式计算 Hadoop
搭建Hadoop环境
本教程介绍基于ECS搭建Hadoop伪分布式环境。
194 0