hadoop2.2.0伪分布式安装

本文涉及的产品
云防火墙,500元 1000GB
简介: 版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/44228263 修改主机名和IP的映射关系vi /etc/hosts 192.
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/44228263

修改主机名和IP的映射关系

vi /etc/hosts

192.168.61.134 hadoop


关闭防火墙

#查看防火墙状态

service iptables status

#关闭防火墙

service iptables stop

#查看防火墙开机启动状态

chkconfig iptables --list

#关闭防火墙开机启动

chkconfig iptables off

重启Linux

reboot

安装JDK

上传JDK文件到linux中

解压jdk

创建文件夹

mkdir /usr/java

在/usr/java目录下安装

chmod 755 jdk-6u45-linux-i586.bin

安装

./jdk-6u45-linux-i586.bin

安装完成之后

重命名jdk的安装文件夹为jdk

将java添加到环境变量中

vi /etc/profile

#在文件最后添加

export JAVA_HOME=/usr/java/jdk

export PATH=$PATH:$JAVA_HOME/bin

刷新配置

source /etc/profile



安装Hadoop

上传hadoop安装包到hadoop宿主目录下

解压hadoop安装包到hadoop根目录

tar -zxvf hadoop-2.2.0-64bit.tar.gz

修改配置文件(5个)

第一个:hadoop-env.sh

#在27行修改

export JAVA_HOME=/usr/java/jdk

第二个:core-site.xml

<configuration>

<!-- 指定HDFS老大(namenode)的通信地址 -->

<property>

<name>fs.defaultFS</name>

<value>hdfs://hadoop:9000</value>

</property>

<!-- 指定hadoop运行时产生文件的存储路径 -->

<property>

<name>hadoop.tmp.dir</name>

<value>/home/hadoop/hadoop/tmp</value>

</property>

</configuration>

第三个:hdfs-site.xml

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

</configuration>


第四个:mapred-site.xml.template 需要重命名: mv mapred-site.xml.template mapred-site.xml

<configuration>

<!-- 通知框架MR使用YARN -->

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>


第五个:yarn-site.xml

<configuration>

<!-- reducer取数据的方式是mapreduce_shuffle -->

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

</configuration>


3.4将hadoop添加到环境变量

vi /etc/profile


export JAVA_HOME=/usr/java/jdk

export HADOOP_HOME=/home/hadoop/hadoop

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin


source /etc/profile

3.5格式化HDFS(namenode)第一次使用时要格式化

hadoop namenode -format


3.6启动hadoop

先启动HDFS

sbin/start-dfs.sh


再启动YARN

sbin/start-yarn.sh


3.7验证是否启动成功

使用jps命令验证

27408 NameNode
28218 Jps
27643 SecondaryNameNode
28066 NodeManager
27803 ResourceManager
27512 DataNode

http://hadoop:50070  (HDFS管理界面)

在这个文件中添加linux主机名和IP的映射关系

C:\Windows\System32\drivers\etc\hosts

192.168.61.134 hadoop

http://hadoop:8088 (MR管理界面)

4.配置ssh免登陆

在服务器上

输入命令

chmod -R 755 /home/hadoop
mkdir ~/.ssh
 ssh-keygen -t rsa

ssh-keygen -t dsa

rsa和dsa分别生成不同加密格式的ssh密钥,直接一直按回车键保存在默认的路径



在节点上配置authorized_keys文件

输入命令

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

将本地的密钥保存在authorized_keys

输入命令

chmod -R 700 ~/.ssh

注意当前你所在的路径


相关文章
|
2月前
|
分布式计算 资源调度 Hadoop
centos7二进制安装Hadoop3
centos7二进制安装Hadoop3
|
2月前
|
存储 分布式计算 算法
探索Hadoop的三种运行模式:单机模式、伪分布式模式和完全分布式模式
在配置Hadoop集群之前,了解这三种模式的特点、适用场景和配置差异是非常重要的。这有助于用户根据个人需求和资源情况,选择最适合自己的Hadoop运行模式。在最初的学习和开发阶段,单机模式和伪分布式模式能为用户提供便利和成本效益。进而,当用户要处理大规模数据集时,完全分布式模式将是理想的选择。
96 2
|
2月前
|
分布式计算 Ubuntu Hadoop
在Ubuntu 16.04上如何在独立模式下安装Hadoop
在Ubuntu 16.04上如何在独立模式下安装Hadoop
24 1
|
3月前
|
SQL 分布式计算 关系型数据库
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
48 2
|
5月前
|
弹性计算 分布式计算 Hadoop
Linux(阿里云)安装Hadoop(详细教程+避坑)
Linux(阿里云)安装Hadoop(详细教程+避坑)
823 3
|
4月前
|
分布式计算 Hadoop 大数据
【大数据】Hadoop下载安装及伪分布式集群搭建教程
【大数据】Hadoop下载安装及伪分布式集群搭建教程
174 0
|
5月前
|
存储 分布式计算 Hadoop
【分布式计算框架】Hadoop伪分布式安装
【分布式计算框架】Hadoop伪分布式安装
47 2
|
5月前
|
分布式计算 资源调度 Hadoop
安装hadoop学习笔记
安装hadoop学习笔记
59 0
安装hadoop学习笔记
|
5月前
|
分布式计算 Hadoop Java
hadoop的基础设施-protobuf-2.5.0编译和安装
hadoop的基础设施-protobuf-2.5.0编译和安装
43 0
|
5月前
|
分布式计算 Hadoop Linux
找到Hadoop的安装目录
【4月更文挑战第19天】具体的安装目录可能因您的安装方式和环境而有所不同。如果您在安装Hadoop时遵循了特定的教程或文档,建议参考该教程或文档中的安装目录信息。
152 3

相关实验场景

更多