ubuntu上面部署hadoop

简介: ubuntu上面部署hadoop

(1)创建Hadoop用户组和Hadoop用户

Sudo addgroup hadoop //创建用户组Hadoop

Sudo adduser -ingroup hadoop hadoop //创建Hadoop用户

(2)用新增hadoop用户名登陆Linux系统
直接登录hadoop用户

(3)安装SSH
Sudo apt-get install openssh-server

在linux系统中,在 /usr/lib 目录下创建 jvm 文件夹来保存 JDK 文件。将压缩包jdk-8u301-linux-x64.tar.gz解压至/usr/lib/jvm中。如下
1
解压出来的是jdk1.8.0_301然后在配置jdk环境变量
使用gedit编辑器编辑环境变量
打开bashrc文件
Sudo gedit ~/.bashrc
在文件末尾添加几行内容
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_301
export JRE_HOME={JAVA_HOME}/jre
export CLASSPATH=.:{JAVA_HOME}/lib:{JRE_HOME}/lib
export PATH={JAVA_HOME}/bin:PATH

保存退出

Source ~/.bashrc让环境变量生效
检验安装情况
Java -version

(5)安装和配置Hadoop

     将压缩包hadoop-2.4.0.tar.gz压缩在linux中的 /usr/local中
     然后将压缩好的文件修改名字为hadoop

1
2
注意hadoop真正可运行程序在./bin目录中的hadoop

进入hadoop文件夹,查看安装的Hadoop(在./bin目录中)版本信息:
./bin/hadoop version

然后配置hadoop环境变量
进入文件:
Sudo vim /etc/profile.d/my_env.sh添加环境变量如下:

第一行是hadoop的安装目录
重新加载环境变量
Source /etc/profile

(6)Hadoop测试
进入到/usr/local/hadoop的目录下,创建一个input目录,在该目录下创建一个world.txt文件。然后向该文件写入一些单词,保存退出。

  重新加载环境变量
  Source /etc/profile

1
2
然后回到hadoop目录。输入以下命令。

  ./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-example
  -2.4.0.jar  wordcount input  ./output

  注意:我的可执行程序hadoop在hadoop目录中的bin目录里,所以是
  ./bin/hadoop。hadoop-mapreduce-example-2.4.0.jar是要在上面指定目录里查看的





在hadoop目录里它会自动生成一个output目录。

相关文章
|
6月前
|
人工智能 Ubuntu 前端开发
Dify部署全栈指南:AI从Ubuntu配置到HTTPS自动化的10倍秘籍
本文档介绍如何部署Dify后端服务及前端界面,涵盖系统环境要求、依赖安装、代码拉取、环境变量配置、服务启动、数据库管理及常见问题解决方案,适用于开发与生产环境部署。
1334 1
|
9月前
|
Ubuntu 安全 数据安全/隐私保护
在Docker容器中部署GitLab服务器的步骤(面向Ubuntu 16.04)
现在,你已经成功地在Docker上部署了GitLab。这就是我们在星际中的壮举,轻松如同土豆一样简单!星际旅行结束,靠岸,打开舱门,迎接全新的代码时代。Prepare to code, astronaut!
595 12
|
10月前
|
分布式计算 Ubuntu Hadoop
Ubuntu22.04下搭建Hadoop3.3.6+Hbase2.5.6+Phoenix5.1.3开发环境的指南
呈上,这些步骤如诗如画,但有效且动人。仿佛一个画家在画布上描绘出一幅完美的画面,这就是你的开发环境。接下来,尽情去创造吧,祝编程愉快!
737 19
|
分布式计算 资源调度 Hadoop
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
387 2
|
11月前
|
Ubuntu 安全 Docker
Ubuntu下部署及操作Docker技巧
以上就是在Ubuntu下部署及操作Docker的具体步骤。但这只是冰山一角,Docker的魅力远不仅如此。你可以将其视为存放各种工具的小箱子,随时随地取用,极大地提升工作效率。你也可以私人订制,适应不同的开发环境,就像一个拥有各种口味冰淇淋的冰箱,满足各种各样的需求。好了,现在你已经掌握了基本的Docker运用技巧,快去尝试使用吧!记住,沉浸在探索中,你会找到无尽的乐趣和满满的收获。
488 23
|
Ubuntu 测试技术 网络安全
Ubuntu系统下部署flatpress轻量级博客系统
【10月更文挑战第3天】Ubuntu系统下部署flatpress轻量级博客系统
322 3
Ubuntu系统下部署flatpress轻量级博客系统
|
Kubernetes 网络安全 容器
基于Ubuntu-22.04安装K8s-v1.28.2实验(一)部署K8s
基于Ubuntu-22.04安装K8s-v1.28.2实验(一)部署K8s
1761 3
|
Ubuntu API Python
Chat-TTS chat-tts-ui 实机部署上手测试!Ubuntu服务器实机 2070Super*2 8GB部署全流程
Chat-TTS chat-tts-ui 实机部署上手测试!Ubuntu服务器实机 2070Super*2 8GB部署全流程
518 1
|
分布式计算 资源调度 Hadoop
【赵渝强老师】部署Hadoop的本地模式
本文介绍了Hadoop的目录结构及本地模式部署方法,包括解压安装、设置环境变量、配置Hadoop参数等步骤,并通过一个简单的WordCount程序示例,演示了如何在本地模式下运行MapReduce任务。
416 0
|
Ubuntu 开发工具 git
在Ubuntu上部署BOA服务器的步骤
部署BOA服务器是一个涉及多个步骤的过程,包括系统更新、安装依赖、下载和编译源代码、配置服务器以及启动和验证。遵循上述步骤,可以在Ubuntu系统上成功部署BOA服务器,为开发和测试提供一个轻量级的Web服务器环境。
579 0

相关实验场景

更多