hadoop 安装系列教程二——伪分布式

简介: hadoop 安装系列教程二——伪分布式

1.安装Java jdk

vi /etc/profile

export JAVA_HOME=/opt/jdk1.8.0_251

export CLASSPATH=.:JAVAHOME/lib/dt.jar:JAVA_HOME/lib/dt.jar:JAVA_HOME/lib/tools.jar

export PATH=PATH:PATH:JAVA_HOME/bin

source /etc/profile

2.安装hadoop

步骤一:下载 https://hadoop.apache.org/releases.html

步骤二:配置环境变量

vi /etc/profile

export JAVA_HOME=/opt/jdk1.8.0_251

export HADOOP_HOME=/opt/hadoop-2.9.2

export CLASSPATH=.:JAVAHOME/lib/dt.jar:JAVA_HOME/lib/dt.jar:JAVA_HOME/lib/tools.jar

export PATH=PATH:PATH:JAVA_HOME/bin:HADOOPHOME/bin:HADOOP_HOME/bin:HADOOP_HOME/sbin

source /etc/profile

测试:配置成功

步骤三:免密登录

(1)生成秘钥

ssh-keygen -t dsa  -f ~/.ssh/id_dsa

(2) 公钥存储

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

测试:ssh localhost

步骤四:修改配置文件,hadoop伪分布模式需要修改5个配置文件,配置文件目录为/opt/hadoop-2.9.2/etc/hadoop

(1)hadoop-env.sh

export JAVA_HOME=/opt/jdk1.8.0_251

(2)core-site.xml

fs.default.name

hdfs://127.0.0.1:9000

hadoop.tmp.dir

/data/hadoop/tmp

(3)hdfs-site.xml

dfs.namenode.name.dir

file:/data/hadoop/hdfs/name

dfs.datanode.name.dir

file:/data/hadoop/hdfs/data

dfs.replication

1

(4)修改mapred-site.xml,首先去掉.template后缀,指令:mv mapred-site.xml.template mapred-site.xml

mapreduce.framework.name

yarn

(5)yarn-site.xml

yarn.nodemanager.aux-services

mapreduce_shuffle

步骤五:格式化HDFS文件系统 /opt/hadoop-2.9.2/bin

./hdfs namenode -format

步骤六:启动 /opt/hadoop-2.9.2/sbin

./start-all.sh

测试是否成功 jps

访问地址:

http://ip:8088/

http://ip:50070/



相关文章
|
2月前
|
分布式计算 Hadoop Java
Hadoop快速入门——第一章、认识Hadoop与创建伪分布式模式(Hadoop3.1.3版本配置)
Hadoop快速入门——第一章、认识Hadoop与创建伪分布式模式(Hadoop3.1.3版本配置)
63 0
|
4月前
|
分布式计算 Hadoop Java
我用免费白拿的服务器搭建了一台基于CentOS7的Hadoop3.x伪分布式环境
我用免费白拿的服务器搭建了一台基于CentOS7的Hadoop3.x伪分布式环境
55 0
|
4月前
|
消息中间件 分布式计算 大数据
【大数据技术Hadoop+Spark】Flume、Kafka的简介及安装(图文解释 超详细)
【大数据技术Hadoop+Spark】Flume、Kafka的简介及安装(图文解释 超详细)
67 0
|
5天前
|
分布式计算 资源调度 Hadoop
hadoop的伪分布式搭建-带网盘
hadoop的伪分布式搭建-带网盘
14 3
|
11天前
|
分布式计算 Hadoop Java
centos 部署Hadoop-3.0-高性能集群(一)安装
centos 部署Hadoop-3.0-高性能集群(一)安装
13 0
|
4月前
|
消息中间件 存储 分布式计算
Hadoop学习笔记(HDP)-Part.19 安装Kafka
01 关于HDP 02 核心组件原理 03 资源规划 04 基础环境配置 05 Yum源配置 06 安装OracleJDK 07 安装MySQL 08 部署Ambari集群 09 安装OpenLDAP 10 创建集群 11 安装Kerberos 12 安装HDFS 13 安装Ranger 14 安装YARN+MR 15 安装HIVE 16 安装HBase 17 安装Spark2 18 安装Flink 19 安装Kafka 20 安装Flume
73 0
Hadoop学习笔记(HDP)-Part.19 安装Kafka
|
3月前
|
分布式计算 资源调度 Hadoop
在Linux系统上安装Hadoop的详细步骤
【1月更文挑战第4天】在Linux系统上安装Hadoop的详细步骤
416 0
|
3月前
|
分布式计算 安全 Hadoop
百度搜索:蓝易云【centos7系统搭建Hadoop环境教程】
这些是在CentOS 7上搭建Hadoop环境的基本步骤。根据您的需求和具体环境,可能还需要进行其他配置和调整。确保在进行任何与网络连接和安全相关的操作之前,详细了解您的网络环境和安全需求,并采取适当的安全措施。
68 0
|
4月前
|
分布式计算 Hadoop Java
hadoop系列——linux hadoop安装
hadoop系列——linux hadoop安装
76 0
|
4月前
|
分布式计算 Hadoop Java
Hadoop【部署 01】腾讯云Linux环境CentOS Linux release 7.5.1804单机版hadoop-3.1.3详细安装步骤(安装+配置+初始化+启动脚本+验证)
Hadoop【部署 01】腾讯云Linux环境CentOS Linux release 7.5.1804单机版hadoop-3.1.3详细安装步骤(安装+配置+初始化+启动脚本+验证)
85 0

相关实验场景

更多