Hadoop使用教程(1):单节点部署

简介: 本文记录了hadoop单节点部署的步骤

部署jdk环境

jdk版本:8u311

解压

tar -zxvf /opt/software/jdk-8u311-linux-x64.tar.gz -C /opt/module/

更改文件名

mv /opt/module/jdk1.8.0_311/ /opt/module/jdk8

添加jdk环境变量

vim /etc/profile

内容添加(文件末尾)

#jdk8
export JAVA_HOME=/opt/module/jdk8

export PATH=$PATH:$JAVA_HOME/bin

 

 

刷新环境文件

source /etc/profile

查看是否生效

java # 三个任意查看都行
javac
java -version

 

 

 

 

部署hadoop环境

hadoop版本:2.10.1

解压

tar -zxvf /opt/software/hadoop-2.10.1.tar.gz -C /opt/module/

更改文件名

mv /opt/module/hadoop-2.10.1/ /opt/module/hadoop2.10

添加hadoop环境变量

vim /etc/profile

内容添加(末尾)

# hadoop2.10
export HADOOP_HOME=/opt/module/hadoop2.10
#jdk8
export JAVA_HOME=/opt/module/jdk8

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

 

 

刷新环境文件

source /etc/profile

查看hadoop环境是否生效

hadoop version

 

 

 

配置hadoop核心文件

每个文件的详细作用参考:(148条消息) 一、Hadoop主要配置文件的作用hadoop五个配置文件一 乐的博客-CSDN博客

路径

cd /opt/module/hadoop2.10/etc/hadoop/

core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/module/hadoop2.10/data/tmp</value>
  </property>
</configuration>


hadoop-env.sh

export JAVA_HOME=/opt/module/jdk8 # 大概在25行左右的位置

yarn-site.xml

<configuration>
  <property>
    <name>yarn.nodemanager.aux_servicesname>
    <value>mapreduce_shufflevalue>
  property>
  <property>
    <name>yarn.resourcemamager.hostnamename>
    <value>mastervalue>
  property>
configuration>


hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replicationname>
    <value>1value>
  property>
</configuration>


mapred-site.xml

<configuration>
  <property>
    <name>mapreduce.framework.namename>
    <value>yarnvalue>
  property>
</configuration>


slaves

master


添加ssh免密登录

下载ssh服务

yum -y install openssh

配置host映射

vim /etc/hosts

内容,末尾添加

192.168.200.100 master

添加ssh密钥

ssh-keygen -t rsa # 三下回车

# 拷贝密钥
ssh-copy-id master
# 输入yes
# 输入密码:123456

 

格式化namenode节点

hadoop namenode -format

关闭防火墙

systemctl stop firewalld # 单次关闭防火墙
systemctl disable firewalld # 永久关闭防火qiang

 

启动hadoop

start-dfs.sh
start-yarn.sh

查看进程

jps

9751 SecondaryNameNode
9913 ResourceManager
10313 Jps
9450 NameNode
10011 NodeManager
9581 DataNode

Web端:192.168.200.100:50070

端口号:50070

 

关闭hadoop

stop-dfs.sh
stop-yarn.sh

相关文章
|
1月前
|
分布式计算 Hadoop 网络安全
|
1月前
|
存储 分布式计算 Hadoop
|
1月前
|
分布式计算 Hadoop Java
|
1月前
|
分布式计算 Hadoop 大数据
【大数据】Hadoop下载安装及伪分布式集群搭建教程
【大数据】Hadoop下载安装及伪分布式集群搭建教程
75 0
|
2月前
|
弹性计算 分布式计算 Hadoop
Linux(阿里云)安装Hadoop(详细教程+避坑)
Linux(阿里云)安装Hadoop(详细教程+避坑)
366 3
|
2月前
|
存储 分布式计算 资源调度
centos 部署Hadoop-3.0-高性能集群(二)
centos 部署Hadoop-3.0-高性能集群(二)
33 0
centos 部署Hadoop-3.0-高性能集群(二)
|
2月前
|
SQL 存储 分布式计算
基于Hadoop数据仓库Hive1.2部署及使用
基于Hadoop数据仓库Hive1.2部署及使用
|
2月前
|
存储 分布式计算 Hadoop
基于Hadoop分布式数据库HBase1.0部署及使用
基于Hadoop分布式数据库HBase1.0部署及使用
|
2月前
|
分布式计算 Hadoop Java
centos 部署Hadoop-3.0-高性能集群(一)安装
centos 部署Hadoop-3.0-高性能集群(一)安装
78 0
|
2月前
|
分布式计算 Hadoop 关系型数据库
使用Sqoop将数据导入Hadoop的详细教程
使用Sqoop将数据导入Hadoop的详细教程