ubuntu上面部署hadoop

简介: ubuntu上面部署hadoop

(1)创建Hadoop用户组和Hadoop用户

Sudo addgroup hadoop //创建用户组Hadoop

Sudo adduser -ingroup hadoop hadoop //创建Hadoop用户

(2)用新增hadoop用户名登陆Linux系统
直接登录hadoop用户

(3)安装SSH
Sudo apt-get install openssh-server

在linux系统中,在 /usr/lib 目录下创建 jvm 文件夹来保存 JDK 文件。将压缩包jdk-8u301-linux-x64.tar.gz解压至/usr/lib/jvm中。如下
1
解压出来的是jdk1.8.0_301然后在配置jdk环境变量
使用gedit编辑器编辑环境变量
打开bashrc文件
Sudo gedit ~/.bashrc
在文件末尾添加几行内容
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_301
export JRE_HOME={JAVA_HOME}/jre
export CLASSPATH=.:{JAVA_HOME}/lib:{JRE_HOME}/lib
export PATH={JAVA_HOME}/bin:PATH

保存退出

Source ~/.bashrc让环境变量生效
检验安装情况
Java -version

(5)安装和配置Hadoop

     将压缩包hadoop-2.4.0.tar.gz压缩在linux中的 /usr/local中
     然后将压缩好的文件修改名字为hadoop

1
2
注意hadoop真正可运行程序在./bin目录中的hadoop

进入hadoop文件夹,查看安装的Hadoop(在./bin目录中)版本信息:
./bin/hadoop version

然后配置hadoop环境变量
进入文件:
Sudo vim /etc/profile.d/my_env.sh添加环境变量如下:

第一行是hadoop的安装目录
重新加载环境变量
Source /etc/profile

(6)Hadoop测试
进入到/usr/local/hadoop的目录下,创建一个input目录,在该目录下创建一个world.txt文件。然后向该文件写入一些单词,保存退出。

  重新加载环境变量
  Source /etc/profile

1
2
然后回到hadoop目录。输入以下命令。

  ./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-example
  -2.4.0.jar  wordcount input  ./output

  注意:我的可执行程序hadoop在hadoop目录中的bin目录里,所以是
  ./bin/hadoop。hadoop-mapreduce-example-2.4.0.jar是要在上面指定目录里查看的





在hadoop目录里它会自动生成一个output目录。

相关文章
|
14天前
|
Ubuntu Java
蓝易云 - ubuntu22安装和部署Kettle8.2
现在你应该可以看到Kettle的图形界面了。这就完成了Ubuntu 22上Kettle 8.2的安装和部署。
15 1
|
21天前
|
分布式计算 Hadoop 网络安全
|
21天前
|
存储 分布式计算 Hadoop
|
21天前
|
分布式计算 Hadoop Java
|
2天前
|
JavaScript Ubuntu 前端开发
Ubuntu部署Minio(单机单驱动)
Ubuntu部署Minio(单机单驱动)
7 0
|
9天前
|
缓存 并行计算 Ubuntu
在Ubuntu系统下部署大语言模型
在Ubuntu系统下部署大语言模型
41 0
|
1月前
|
Ubuntu Apache 数据库
如何在Ubuntu系统部署Z-blog博客结合cpolar实现无公网IP访问本地网站
如何在Ubuntu系统部署Z-blog博客结合cpolar实现无公网IP访问本地网站
37 2
|
1月前
|
存储 Kubernetes 监控
|
1月前
|
SQL 存储 分布式计算
基于Hadoop数据仓库Hive1.2部署及使用
基于Hadoop数据仓库Hive1.2部署及使用
|
1月前
|
存储 分布式计算 Hadoop
基于Hadoop分布式数据库HBase1.0部署及使用
基于Hadoop分布式数据库HBase1.0部署及使用