hadoop学习第二天之伪分布模式安装(下)

简介: 继续伪分布安装 7.   安装JDK 使用winscp将hadoop和jdk复制到linux目录下 a)     打开Winscp输入虚拟机的ip,用户,密码,保存密码后点击登录 左边windows,右边linux。在左边找到要复制的文件(hadoop1.1.2.tar.gz,JDK-xx-xx.bin),直接拖到linux系统下的/usr下的local中. b)     解

继续伪分布安装

7.   安装JDK

使用winscp将hadoop和jdk复制到linux目录下

a)     打开Winscp输入虚拟机的ip,用户,密码,保存密码后点击登录

左边windows,右边linux。在左边找到要复制的文件(hadoop1.1.2.tar.gz,JDK-xx-xx.bin),直接拖到linux系统下的/usr下的local中.

b)     解压hadoop-1.1.2.tar.gz

#tar  –xzvf   hadoop-1.1.2.tar.gz

c)      在linux中二进制文件一般是以bin结尾,但仍然需要执行权限才能执行

#chmod  755  jdk-6u24-linux-i586.bin

解压jdk

#./ jdk-6u24-linux-i586.bin

d)     配置环境变量才能使得jdk生效,

#vim  /etc/profile

修改前先备份一份

#cp /etc/profile /etc/profile.bak

在开头的空白行添加

export JAVA_HOME=/usr/local/jdk

export PATH=$JAVA_HOME/bin:$PATH

             


就类似于windows下的jdk配置环境变 量

e)     重命名hadoop和jdk的文件夹,使得容易使用

#mv hadoop-1.1.2.tar.gz hadoop

#mv jdk-6u24-linux-i586.bin  jdk

f)       使得环境变量生效

#source  /etc/profile

g)     验证java版本

#java  -version

8.   安装hadoop

a)   因为在在第七步已经解压并且重命名了hadoop,直接切换到hadoop目录

bin下存放的是hadoop的可执行文件

conf下放的是配置文件

lib目录下放的是hadoop依赖的jar包

src目录是存放hadoop源代码的位置

docs存放的是hadoop的文档

b)   为了执行hadoop命令方便,将hadoop的bin目录添加到环境变量文件中

#vim /etc/profile

exportHADOOP_HOME=/usr/local/hadoop

export  PATH=$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

 

c)    使环境变量生效

#source  /etc/profile

d)   修改hadoop的配置文件

进入conf目录

hadoop#cd  conf

主要修改的配置文件有四个

        hadoop-env.sh \core-site.xml\mapred-site.xml\hdfs-site.xml

   hadoop-env.sh中将第九行的#去掉,成为 #export JAVA_HOME=/usr/loal/jdk/   修改core-site.xml配置文件内容如下,hadoop1是我设置的主机名


   修改hdfs-site.xml配置文件内容如下

 

修改mapred-site.xml配置文件内容如下:

hadoop1修改为自己的主机名

e)    启动hadoop前的文件系统格式化

# hadoop  namenode  -format

f)     启动hadoop

#start-all.sh  启动与hadoop有关的所有进程

g)    查看hadoop是否正常启动,使用jps命令可以查看java进程

如何看到这五个java进程代表hadoop启动成功

JobTracker、TaskTracker、DataNode、SecondaryNameNode、NameNode

启动时最有可能造成NameNode启动不成功的可能原因

(1).  没有格式化

(2). 环境变量设置错误

(3).ip和hostname绑定失败

h)   验证hadoop是否正在运行

浏览器地址栏中:http://hadoop1:50070  (hadoop1需要在windows或linux的host文件中绑定)显示正常网页表示NameNode正在运行

http://hadoop1:50030 的链接,显示正常表示mapreduce正在运行

相关文章
|
2月前
|
分布式计算 资源调度 Hadoop
centos7二进制安装Hadoop3
centos7二进制安装Hadoop3
|
2月前
|
存储 分布式计算 算法
探索Hadoop的三种运行模式:单机模式、伪分布式模式和完全分布式模式
在配置Hadoop集群之前,了解这三种模式的特点、适用场景和配置差异是非常重要的。这有助于用户根据个人需求和资源情况,选择最适合自己的Hadoop运行模式。在最初的学习和开发阶段,单机模式和伪分布式模式能为用户提供便利和成本效益。进而,当用户要处理大规模数据集时,完全分布式模式将是理想的选择。
100 2
|
2月前
|
分布式计算 Ubuntu Hadoop
在Ubuntu 16.04上如何在独立模式下安装Hadoop
在Ubuntu 16.04上如何在独立模式下安装Hadoop
25 1
|
2月前
|
存储 分布式计算 Hadoop
Hadoop 运行的三种模式
【8月更文挑战第31天】
132 0
|
3月前
|
SQL 分布式计算 关系型数据库
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
50 2
|
3月前
|
分布式计算 运维 大数据
混合云模式下 MaxCompute + Hadoop 混搭大数据架构实践。
除了资源效率和成本的优势外,混合云模式还为斗鱼带来了可量化的成本、增值服务以及额外的专业服务。阿里云的专业团队可以为斗鱼提供技术咨询和解决方案,帮助斗鱼解决业务难题。此外,计算资源的可量化也使得斗鱼能够清晰地了解资源使用情况,为业务决策提供依据。
|
11天前
|
存储 分布式计算 资源调度
两万字长文向你解密大数据组件 Hadoop
两万字长文向你解密大数据组件 Hadoop
41 11
|
2月前
|
存储 分布式计算 Hadoop
|
2月前
|
图形学 数据可视化 开发者
超实用Unity Shader Graph教程:从零开始打造令人惊叹的游戏视觉特效,让你的作品瞬间高大上,附带示例代码与详细步骤解析!
【8月更文挑战第31天】Unity Shader Graph 是 Unity 引擎中的强大工具,通过可视化编程帮助开发者轻松创建复杂且炫酷的视觉效果。本文将指导你使用 Shader Graph 实现三种效果:彩虹色渐变着色器、动态光效和水波纹效果。首先确保安装最新版 Unity 并启用 Shader Graph。创建新材质和着色器图谱后,利用节点库中的预定义节点,在编辑区连接节点定义着色器行为。
120 0
|
2月前
|
分布式计算 资源调度 Hadoop
Hadoop入门基础(五):Hadoop 常用 Shell 命令一网打尽,提升你的大数据技能!
Hadoop入门基础(五):Hadoop 常用 Shell 命令一网打尽,提升你的大数据技能!

相关实验场景

更多