在Ubuntu上安装Hadoop(单机模式)步骤

简介: 1. 安装jdk:sudo apt-get install openjdk-6-jdk 2. 配置ssh:安装ssh:apt-get install openssh-server 为运行hadoop的用户生成一个SSH key:$ ssh-keygen -t rsa -P "" 让你可以通过新生成的key来登录本地机器:$ cp ~/.

1. 安装jdk:
sudo apt-get install openjdk-6-jdk

2. 配置ssh:
安装ssh:
apt-get install openssh-server

为运行hadoop的用户生成一个SSH key:
$ ssh-keygen -t rsa -P ""

让你可以通过新生成的key来登录本地机器:
$ cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

3. 安装hadoop:
下载hadoop tar.gz包
并解压:
tar -zxvf hadoop-2.2.0.tar.gz

4. 配置:
- 在~/.bashrc文件中添加:
export HADOOP_HOME=/usr/local/hadoop
export JAVA_HOME=/usr/lib/jvm/java-6-openjdk-amd64
export PATH=$PATH:$HADOOP_HOME/bin
在修改完成后保存,重新登录,相应的环境变量就配置好了。

- 配置hadoop-env.sh:
export JAVA_HOME=/usr/lib/jvm/java-6-openjdk-amd64


- 配置hdfs-site.xml:
<property>

<name>hadoop.tmp.dir</name>

<value>/app/hadoop/tmp</value>
<description>A base for other temporary directories.</description>

</property>


<property>
<name>fs.default.name</name>

<value>hdfs://localhost:9000</value>
<description>The name of the default file system. A URI whose
scheme and
authority determine the FileSystem implementation. The
uri's scheme determines the
config property (fs.SCHEME.impl) naming
the FileSystem implementation class. The uri's
authority is used to
determine the host, port, etc. for a filesystem.</description>
</property>

- 配置mapred-site.xml:
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
<description>The host and port that the MapReduce job tracker runs
at. If "local", then jobs are run in-process as a single map
and reduce task.
</description>
</property>

- 配置hdfs-site.xml:
<property>

<name>dfs.replication</name>

<value>1</value>
<description>Default block replication.
The actual number of replications can be
specified when the file is created.
The default is used if replication is not specified
in create time.
</description>

</property>

5. 通过 NameNode 来格式化 HDFS 文件系统
$ /usr/local/hadoop/bin/hadoop namenode -format

6. 运行hadoop
$ /usr/local/hadoop/sbin/start-all.sh

7. 检查hadoop的运行状况
- 使用jps来检查hadoop的运行状况:
$ jps

- 使用netstat 命令来检查 hadoop 是否正常运行:
$ sudo netstat -plten | grep java

8. 停止运行hadoop:
$ /usr/local/hadoop/bins/stop-all.sh

相关文章
|
2月前
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
184 6
|
2月前
|
分布式计算 资源调度 Hadoop
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
78 2
|
1月前
|
分布式计算 资源调度 Hadoop
【赵渝强老师】部署Hadoop的本地模式
本文介绍了Hadoop的目录结构及本地模式部署方法,包括解压安装、设置环境变量、配置Hadoop参数等步骤,并通过一个简单的WordCount程序示例,演示了如何在本地模式下运行MapReduce任务。
|
2月前
|
SQL 分布式计算 Hadoop
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
81 3
|
2月前
|
SQL 存储 数据管理
Hadoop-15-Hive 元数据管理与存储 Metadata 内嵌模式 本地模式 远程模式 集群规划配置 启动服务 3节点云服务器实测
Hadoop-15-Hive 元数据管理与存储 Metadata 内嵌模式 本地模式 远程模式 集群规划配置 启动服务 3节点云服务器实测
64 2
|
4月前
|
分布式计算 资源调度 Hadoop
centos7二进制安装Hadoop3
centos7二进制安装Hadoop3
|
4月前
|
存储 分布式计算 算法
探索Hadoop的三种运行模式:单机模式、伪分布式模式和完全分布式模式
在配置Hadoop集群之前,了解这三种模式的特点、适用场景和配置差异是非常重要的。这有助于用户根据个人需求和资源情况,选择最适合自己的Hadoop运行模式。在最初的学习和开发阶段,单机模式和伪分布式模式能为用户提供便利和成本效益。进而,当用户要处理大规模数据集时,完全分布式模式将是理想的选择。
259 2
|
4月前
|
分布式计算 Ubuntu Hadoop
在Ubuntu 16.04上如何在独立模式下安装Hadoop
在Ubuntu 16.04上如何在独立模式下安装Hadoop
41 1
|
4月前
|
存储 分布式计算 Hadoop
Hadoop 运行的三种模式
【8月更文挑战第31天】
488 0
|
分布式计算 Ubuntu Hadoop
Hadoop 的安装和使用(基于Linux~Ubuntu的虚拟机)
Hadoop 的安装和使用(基于Linux~Ubuntu的虚拟机)
1042 0
Hadoop 的安装和使用(基于Linux~Ubuntu的虚拟机)
下一篇
DataWorks