ubuntu上面部署hadoop

简介: ubuntu上面部署hadoop

(1)创建Hadoop用户组和Hadoop用户

Sudo addgroup hadoop //创建用户组Hadoop

Sudo adduser -ingroup hadoop hadoop //创建Hadoop用户

(2)用新增hadoop用户名登陆Linux系统

       直接登录hadoop用户


(3)安装SSH

        Sudo apt-get install openssh-server
 在linux系统中,在 /usr/lib 目录下创建 jvm 文件夹来保存 JDK 文件。将压缩包jdk-8u301-linux-x64.tar.gz解压至/usr/lib/jvm中。如下

解压出来的是jdk1.8.0_301然后在配置jdk环境变量
使用gedit编辑器编辑环境变量
打开bashrc文件
Sudo gedit ~/.bashrc
在文件末尾添加几行内容
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_301
export JRE_HOME={JAVA_HOME}/jre
export CLASSPATH=.:{JAVA_HOME}/lib:{JRE_HOME}/lib
export PATH={JAVA_HOME}/bin:PATH

保存退出

Source ~/.bashrc让环境变量生效
检验安装情况
Java -version

(5)安装和配置Hadoop

         将压缩包hadoop-2.4.0.tar.gz压缩在linux中的 /usr/local中
         然后将压缩好的文件修改名字为hadoop



注意hadoop真正可运行程序在./bin目录中的hadoop

进入hadoop文件夹,查看安装的Hadoop(在./bin目录中)版本信息:
./bin/hadoop version

然后配置hadoop环境变量

         进入文件:
         Sudo vim /etc/profile.d/my_env.sh添加环境变量如下:

第一行是hadoop的安装目录
重新加载环境变量
Source /etc/profile

(6)Hadoop测试

          进入到/usr/local/hadoop的目录下,创建一个input目录,在该目录下创建一个world.txt文件。然后向该文件写入一些单词,保存退出。





      重新加载环境变量
      Source /etc/profile



然后回到hadoop目录。输入以下命令。

    
      ./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-example
      -2.4.0.jar  wordcount input  ./output

      注意:我的可执行程序hadoop在hadoop目录中的bin目录里,所以是
      ./bin/hadoop。hadoop-mapreduce-example-2.4.0.jar是要在上面指定目录里查看的






   在hadoop目录里它会自动生成一个output目录。

该目录的art-r-0000文件保存了input目录中word.txt文件的每个单词的统计个数

相关文章
|
2月前
|
分布式计算 资源调度 Hadoop
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
69 2
|
2月前
|
Ubuntu 测试技术 网络安全
Ubuntu系统下部署flatpress轻量级博客系统
【10月更文挑战第3天】Ubuntu系统下部署flatpress轻量级博客系统
53 3
Ubuntu系统下部署flatpress轻量级博客系统
|
20天前
|
分布式计算 资源调度 Hadoop
【赵渝强老师】部署Hadoop的本地模式
本文介绍了Hadoop的目录结构及本地模式部署方法,包括解压安装、设置环境变量、配置Hadoop参数等步骤,并通过一个简单的WordCount程序示例,演示了如何在本地模式下运行MapReduce任务。
|
2月前
|
Ubuntu API Python
Chat-TTS chat-tts-ui 实机部署上手测试!Ubuntu服务器实机 2070Super*2 8GB部署全流程
Chat-TTS chat-tts-ui 实机部署上手测试!Ubuntu服务器实机 2070Super*2 8GB部署全流程
72 1
|
2月前
|
Kubernetes 网络安全 容器
基于Ubuntu-22.04安装K8s-v1.28.2实验(一)部署K8s
基于Ubuntu-22.04安装K8s-v1.28.2实验(一)部署K8s
248 2
|
3月前
|
存储 关系型数据库 文件存储
Ubuntu22.04LTS基于cephadm快速部署Ceph Reef(18.2.X)集群
这篇文章是关于如何在Ubuntu 22.04LTS上使用cephadm工具快速部署Ceph Reef(18.2.X)存储集群的详细教程,包括ceph的基本概念、集群的搭建步骤、集群管理以及测试集群可用性等内容。
545 8
Ubuntu22.04LTS基于cephadm快速部署Ceph Reef(18.2.X)集群
|
3月前
|
Ubuntu 数据安全/隐私保护
Ubuntu22.04LTS环境部署实战
这篇文章提供了Ubuntu 22.04 LTS操作系统的详细安装步骤,包括选择语言、键盘布局、网络配置、软件源设置、磁盘分区、安装OpenSSH服务以及完成安装和首次登录系统的过程。
235 6
Ubuntu22.04LTS环境部署实战
|
3月前
|
存储 Kubernetes Ubuntu
Ubuntu 22.04LTS版本二进制部署K8S 1.30+版本
这篇文章详细介绍了在Ubuntu 22.04 LTS系统上使用VMware Fusion虚拟化软件部署Kubernetes 1.30+版本的完整过程,包括环境准备、安装containerd、配置etcd、生成证书、部署高可用组件、启动Kubernetes核心组件以及网络插件的部署和故障排查。
161 4
|
3月前
|
Ubuntu 开发工具 git
在Ubuntu上部署BOA服务器的步骤
部署BOA服务器是一个涉及多个步骤的过程,包括系统更新、安装依赖、下载和编译源代码、配置服务器以及启动和验证。遵循上述步骤,可以在Ubuntu系统上成功部署BOA服务器,为开发和测试提供一个轻量级的Web服务器环境。
75 0
|
3月前
|
存储 Ubuntu 网络安全
在Ubuntu系统下通过Caddy实现LXD的安装与部署
通过上述步骤,您可以在Ubuntu系统下通过Caddy实现LXD的安装与部署。这种方法不仅可以提高容器管理的效率,还可以借助Caddy的自动SSL管理功能提升安全性。
54 0