在Ubuntu上安装Hadoop(单机模式)步骤

简介:
随笔- 137  文章- 6  评论- 145 

在Ubuntu上安装Hadoop(单机模式)步骤

1. 安装jdk:
sudo apt-get install openjdk-6-jdk

2. 配置ssh:
安装ssh:
apt-get install openssh-server

为运行hadoop的用户生成一个SSH key:
$ ssh-keygen -t rsa -P ""

让你可以通过新生成的key来登录本地机器:
$ cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

3. 安装hadoop:
下载hadoop tar.gz包
并解压:
tar -zxvf hadoop-2.2.0.tar.gz

4. 配置:
- 在~/.bashrc文件中添加:
export HADOOP_HOME=/usr/local/hadoop
export JAVA_HOME=/usr/lib/jvm/java-6-openjdk-amd64
export PATH=PATH:HADOOP_HOME/bin
在修改完成后保存,重新登录,相应的环境变量就配置好了。

- 配置hadoop-env.sh:
export JAVA_HOME=/usr/lib/jvm/java-6-openjdk-amd64


- 配置hdfs-site.xml:
<property>

<name>hadoop.tmp.dir</name>

<value>/app/hadoop/tmp</value>
<description>A base for other temporary directories.</description>

</property>


<property>
<name>fs.default.name</name>

<value>hdfs://localhost:9000</value>
<description>The name of the default file system. A URI whose
scheme and 
authority determine the FileSystem implementation. The
uri's scheme determines the 
config property (fs.SCHEME.impl) naming
the FileSystem implementation class. The uri's 
authority is used to
determine the host, port, etc. for a filesystem.</description>
</property>

- 配置mapred-site.xml:
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
<description>The host and port that the MapReduce job tracker runs
at. If "local", then jobs are run in-process as a single map
and reduce task.
</description>
</property>

- 配置hdfs-site.xml:
<property>

<name>dfs.replication</name>

<value>1</value>
<description>Default block replication.
The actual number of replications can be 
specified when the file is created.
The default is used if replication is not specified 
in create time.
</description>

</property>

5. 通过 NameNode 来格式化 HDFS 文件系统
$ /usr/local/hadoop/bin/hadoop namenode -format

6. 运行hadoop
$ /usr/local/hadoop/sbin/start-all.sh

7. 检查hadoop的运行状况
- 使用jps来检查hadoop的运行状况:
$ jps

- 使用netstat 命令来检查 hadoop 是否正常运行:
$ sudo netstat -plten | grep java

8. 停止运行hadoop:
$ /usr/local/hadoop/bins/stop-all.sh

本文转自天天_byconan博客园博客,原文链接:http://www.cnblogs.com/tiantianbyconan/p/3552711.html ,如需转载请自行联系原作者
目录
打赏
0
0
0
0
66
分享
相关文章
在Ubuntu上安装MEAN Stack的4个步骤
本指南介绍了在Ubuntu上安装MEAN Stack的四个步骤。MEAN Stack是一种基于JavaScript的开发堆栈,包含MongoDB、ExpressJS、AngularJS和NodeJS。步骤包括:1. 更新系统并准备安装MEAN;2. 从官方源安装最新版MongoDB;3. 安装NodeJS、Git和NPM;4. 克隆mean.io仓库并使用NPM安装剩余依赖项。通过这些步骤,您可以快速搭建基于MEAN Stack的应用开发环境。
30 2
在Ubuntu下安装Debian包:dpkg与apt命令的深度解构。
安装Debian包的知识,就像掌握了海上的航行技术,虽然起初会让人感到陌生甚至困惑,但只要你积累熟练,就能在Ubuntu的世界里畅游无阻。就像每一位成功的航海家,掌握好这些工具,去探索属于你的Ubuntu新世界吧!
57 21
容器技术实践:在Ubuntu上使用Docker安装MySQL的步骤。
通过以上的操作,你已经步入了Docker和MySQL的世界,享受了容器技术给你带来的便利。这个旅程中你可能会遇到各种挑战,但是只要你沿着我们划定的路线行进,你就一定可以达到目的地。这就是Ubuntu、Docker和MySQL的灵魂所在,它们为你开辟了一条通往新探索的道路,带你亲身感受到了技术的力量。欢迎在Ubuntu的广阔大海中探索,用Docker技术引领你的航行,随时准备感受新技术带来的震撼和乐趣。
32 16
|
11天前
|
Ubuntu gnome WhiteSur-gtk-theme类mac主题正确安装和卸载方式
通过这个过程,用户不仅可以定制自己的桌面外观,还可以学习到更多关于 Linux 系统管理的知识,从而更好地掌握系统配置和主题管理的技巧。
57 12
在 Ubuntu 20.04 上安装和配置 Redis
在 Ubuntu 20.04 上安装和配置 Redis 的步骤如下:首先更新系统包,然后通过 `apt` 安装 Redis。安装后,启用并启动 Redis 服务,检查其运行状态。可选配置包括修改绑定 IP、端口等,并确保防火墙设置允许外部访问。最后,使用 `redis-cli` 测试 Redis 功能,如设置和获取键值对。
32 1
如何在Ubuntu 20.04系统中安装Docker
安装 Docker 引擎的步骤如下:首先更新系统包索引 (`sudo apt update`),安装必要依赖包 (`apt-transport-https` 等),添加 Docker 官方 GPG 密钥及 APT 仓库。接着再次更新包索引并安装 Docker 引擎及相关工具 (`docker-ce` 等)。最后启动 Docker 服务并设置开机自启,通过 `docker --version` 和运行测试容器 (`sudo docker run hello-world`) 验证安装是否成功。
154 0
从“笨重大象”到“敏捷火花”:Hadoop与Spark的大数据技术进化之路
从“笨重大象”到“敏捷火花”:Hadoop与Spark的大数据技术进化之路
130 79
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
299 6
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
134 2
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等