hadoop学习第二天之伪分布模式安装(下)

简介: 继续伪分布安装 7.   安装JDK 使用winscp将hadoop和jdk复制到linux目录下 a)     打开Winscp输入虚拟机的ip,用户,密码,保存密码后点击登录 左边windows,右边linux。在左边找到要复制的文件(hadoop1.1.2.tar.gz,JDK-xx-xx.bin),直接拖到linux系统下的/usr下的local中. b)     解

继续伪分布安装

7.   安装JDK

使用winscp将hadoop和jdk复制到linux目录下

a)     打开Winscp输入虚拟机的ip,用户,密码,保存密码后点击登录

左边windows,右边linux。在左边找到要复制的文件(hadoop1.1.2.tar.gz,JDK-xx-xx.bin),直接拖到linux系统下的/usr下的local中.

b)     解压hadoop-1.1.2.tar.gz

#tar  –xzvf   hadoop-1.1.2.tar.gz

c)      在linux中二进制文件一般是以bin结尾,但仍然需要执行权限才能执行

#chmod  755  jdk-6u24-linux-i586.bin

解压jdk

#./ jdk-6u24-linux-i586.bin

d)     配置环境变量才能使得jdk生效,

#vim  /etc/profile

修改前先备份一份

#cp /etc/profile /etc/profile.bak

在开头的空白行添加

export JAVA_HOME=/usr/local/jdk

export PATH=$JAVA_HOME/bin:$PATH

             


就类似于windows下的jdk配置环境变 量

e)     重命名hadoop和jdk的文件夹,使得容易使用

#mv hadoop-1.1.2.tar.gz hadoop

#mv jdk-6u24-linux-i586.bin  jdk

f)       使得环境变量生效

#source  /etc/profile

g)     验证java版本

#java  -version

8.   安装hadoop

a)   因为在在第七步已经解压并且重命名了hadoop,直接切换到hadoop目录

bin下存放的是hadoop的可执行文件

conf下放的是配置文件

lib目录下放的是hadoop依赖的jar包

src目录是存放hadoop源代码的位置

docs存放的是hadoop的文档

b)   为了执行hadoop命令方便,将hadoop的bin目录添加到环境变量文件中

#vim /etc/profile

exportHADOOP_HOME=/usr/local/hadoop

export  PATH=$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

 

c)    使环境变量生效

#source  /etc/profile

d)   修改hadoop的配置文件

进入conf目录

hadoop#cd  conf

主要修改的配置文件有四个

        hadoop-env.sh \core-site.xml\mapred-site.xml\hdfs-site.xml

   hadoop-env.sh中将第九行的#去掉,成为 #export JAVA_HOME=/usr/loal/jdk/   修改core-site.xml配置文件内容如下,hadoop1是我设置的主机名


   修改hdfs-site.xml配置文件内容如下

 

修改mapred-site.xml配置文件内容如下:

hadoop1修改为自己的主机名

e)    启动hadoop前的文件系统格式化

# hadoop  namenode  -format

f)     启动hadoop

#start-all.sh  启动与hadoop有关的所有进程

g)    查看hadoop是否正常启动,使用jps命令可以查看java进程

如何看到这五个java进程代表hadoop启动成功

JobTracker、TaskTracker、DataNode、SecondaryNameNode、NameNode

启动时最有可能造成NameNode启动不成功的可能原因

(1).  没有格式化

(2). 环境变量设置错误

(3).ip和hostname绑定失败

h)   验证hadoop是否正在运行

浏览器地址栏中:http://hadoop1:50070  (hadoop1需要在windows或linux的host文件中绑定)显示正常网页表示NameNode正在运行

http://hadoop1:50030 的链接,显示正常表示mapreduce正在运行

相关文章
|
5月前
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
276 6
|
5月前
|
分布式计算 资源调度 Hadoop
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
127 2
|
4月前
|
分布式计算 资源调度 Hadoop
【赵渝强老师】部署Hadoop的本地模式
本文介绍了Hadoop的目录结构及本地模式部署方法,包括解压安装、设置环境变量、配置Hadoop参数等步骤,并通过一个简单的WordCount程序示例,演示了如何在本地模式下运行MapReduce任务。
102 0
|
5月前
|
分布式计算 Hadoop 大数据
大数据体系知识学习(一):PySpark和Hadoop环境的搭建与测试
这篇文章是关于大数据体系知识学习的,主要介绍了Apache Spark的基本概念、特点、组件,以及如何安装配置Java、PySpark和Hadoop环境。文章还提供了详细的安装步骤和测试代码,帮助读者搭建和测试大数据环境。
147 1
|
5月前
|
SQL 分布式计算 Hadoop
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(一)
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(一)
82 4
|
5月前
|
SQL 分布式计算 Hadoop
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
163 3
|
5月前
|
SQL 存储 数据管理
Hadoop-15-Hive 元数据管理与存储 Metadata 内嵌模式 本地模式 远程模式 集群规划配置 启动服务 3节点云服务器实测
Hadoop-15-Hive 元数据管理与存储 Metadata 内嵌模式 本地模式 远程模式 集群规划配置 启动服务 3节点云服务器实测
94 2
|
5月前
|
SQL
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(二)
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(二)
71 2
|
7月前
|
分布式计算 资源调度 Hadoop
centos7二进制安装Hadoop3
centos7二进制安装Hadoop3
|
7月前
|
存储 分布式计算 Hadoop
Hadoop 运行的三种模式
【8月更文挑战第31天】
682 0

相关实验场景

更多