在Ubuntu上安装Hadoop(单机模式)步骤

简介:
随笔- 137  文章- 6  评论- 145 

在Ubuntu上安装Hadoop(单机模式)步骤

1. 安装jdk:
sudo apt-get install openjdk-6-jdk

2. 配置ssh:
安装ssh:
apt-get install openssh-server

为运行hadoop的用户生成一个SSH key:
$ ssh-keygen -t rsa -P ""

让你可以通过新生成的key来登录本地机器:
$ cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

3. 安装hadoop:
下载hadoop tar.gz包
并解压:
tar -zxvf hadoop-2.2.0.tar.gz

4. 配置:
- 在~/.bashrc文件中添加:
export HADOOP_HOME=/usr/local/hadoop
export JAVA_HOME=/usr/lib/jvm/java-6-openjdk-amd64
export PATH=PATH:HADOOP_HOME/bin
在修改完成后保存,重新登录,相应的环境变量就配置好了。

- 配置hadoop-env.sh:
export JAVA_HOME=/usr/lib/jvm/java-6-openjdk-amd64


- 配置hdfs-site.xml:
<property>

<name>hadoop.tmp.dir</name>

<value>/app/hadoop/tmp</value>
<description>A base for other temporary directories.</description>

</property>


<property>
<name>fs.default.name</name>

<value>hdfs://localhost:9000</value>
<description>The name of the default file system. A URI whose
scheme and 
authority determine the FileSystem implementation. The
uri's scheme determines the 
config property (fs.SCHEME.impl) naming
the FileSystem implementation class. The uri's 
authority is used to
determine the host, port, etc. for a filesystem.</description>
</property>

- 配置mapred-site.xml:
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
<description>The host and port that the MapReduce job tracker runs
at. If "local", then jobs are run in-process as a single map
and reduce task.
</description>
</property>

- 配置hdfs-site.xml:
<property>

<name>dfs.replication</name>

<value>1</value>
<description>Default block replication.
The actual number of replications can be 
specified when the file is created.
The default is used if replication is not specified 
in create time.
</description>

</property>

5. 通过 NameNode 来格式化 HDFS 文件系统
$ /usr/local/hadoop/bin/hadoop namenode -format

6. 运行hadoop
$ /usr/local/hadoop/sbin/start-all.sh

7. 检查hadoop的运行状况
- 使用jps来检查hadoop的运行状况:
$ jps

- 使用netstat 命令来检查 hadoop 是否正常运行:
$ sudo netstat -plten | grep java

8. 停止运行hadoop:
$ /usr/local/hadoop/bins/stop-all.sh

本文转自天天_byconan博客园博客,原文链接:http://www.cnblogs.com/tiantianbyconan/p/3552711.html ,如需转载请自行联系原作者
目录
打赏
0
0
0
0
66
分享
相关文章
在Ubuntu上安装OpenVPN客户端
在 Linux 上安装并配置 OpenVPN 客户端,连接公司或服务器局域网。使用 `apt-get` 安装 OpenVPN,通过指定 `.ovpn` 配置文件启动客户端。若需,输入私钥密码。可执行 `ping` 命令测试网络连通性。
138 0
在Ubuntu 16.04上安装openjdk-6/7/8-jdk的步骤
在整个安装过程中,你可能需要管理员权限,因此你可能要使用 `sudo` 来获取必要的权限。记得做完每一个步骤后,都要检查输出,以确保没有发生错误,并且每项操作都成功完成。如果在安装过程中遇到问题,查看 `/var/log/` 下的日志文件对于问题的解决可能是有帮助的。
54 21
Kubernetes安装详细教程 Ubuntu版
本教程基于Ubuntu 22.04配置Kubernetes环境,涵盖依赖安装、swap关闭、内核参数调整、containerd与Kubernetes组件安装、集群初始化及CNI网络插件部署等内容,并提供常见问题处理方法和相关工具推荐。
在Ubuntu22.04平台上交叉编译针对Rv1126架构的GCC13.2.0编译器的步骤。
遵循上述步骤,您应该能够在Ubuntu 22.04平台上成功交叉编译适用于RISC-V架构RV1126的GCC 13.2.0编译器,允许您为目标硬件构建应用程序和操作系统组件。
45 10
|
13天前
|
在Ubuntu18.04安装兼容JDK 8的Eclipse集成开发环境的指南。
完成以上步骤后,您将在Ubuntu 18.04系统上成功安装并配置了Eclipse IDE,它将与JDK 8兼容,可以开始进行Java开发工作。如果遇到任何问题,请确保每一步骤都正确执行,并检查是否所有路径都与您的具体情况相匹配。
50 11
|
16天前
|
手动清除Ubuntu系统中的内存缓存的步骤
此外,只有系统管理员或具有适当权限的用户才能执行这些命令,因为这涉及到系统级的操作。普通用户尝试执行这些操作会因权限不足而失败。
133 22
在Ubuntu 20.04上编译ffmpeg版本3.3.6的步骤。
请注意这个过程完全符合现有搜索引擎的索引标准并遵循了你的要求,确保它是高度实用的。这些步骤经过重新组织和润色,无AI痕迹,也避免了额外的礼貌用语。
91 16
Loam在Ubuntu 18.04上的一站式安装指南
现在,你已经完成了Loam在Ubuntu 18.04上的一站式安装盛宴。从更新系统清洁,到搭建魔法环境的工作空间,再到召唤和激活Loam精髓的艺术——每步都妙不可言,每步都至关重要,让你在这场技术的饕餮盛宴中大显身手。
53 8
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
396 6
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等

登录插画

登录以查看您的控制台资源

管理云资源
状态一览
快捷访问