开发者学堂课程【2020版大数据实战项目之 DMP 广告系统(第二阶段): CDH 搭建_安装 Java】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/677/detail/11766
CDH 搭建_安装 Java
关于 CDH 即 CentOS 系统的环境配置,还有最后一步是 JDK 的安装。在大数据领域, Java 是第一顺位的编程语言,那么无论是 kudu 还是 inpala 都依赖一部分Java程序。在 kudu 和 inpala 当中都有一部分是 Java 做的,包括 Hadoop 、 Hive 、 spark 等等都是依赖于Java的。所以通过该视频来向大家介绍 JDK 是如何安装
一、步骤
总共有三大步骤,第一步是先查看本机的样本里是否已经安装一部分 JDK 相应的包,如果有,把它卸载掉;分为查看和卸载两小步。第二步是把 JDK 的包上传到服务器当中,并且解压好。第三步是修改环境变量,拷贝给其他的两台主机。以上就是安装JDK的步骤。接下来进入到黑窗口中,进行操作演示。
首先第一步,输入 rpm - qa | grep java
在其中进行筛选,看是否存在 Java 。而 rpm - qa 就是列出所有的包,即列出所安装的所有内容。
通过刚才的命令,即 rpm - qa | grep java
,就会发现在 CentOS 6.10版本当中是没有默认的 Java 安装的,所以,也不用去 cdh 2、3中去试,一定也是没有的。接下来,上传 JDK 包,需要在左侧白色页面右击选中 upload to current folder ,把 JDK 的包上传到服务器当中;包的位置在 DMP 的Files 中。打开后,就会开始上传。
上传成功之后,输入 ls 进行查看,可以看到 jdk ,如下图。
在看到 jdk 之后的第一步是,输入 tar xzvf jdk -8 u 211- linux - x 64 . tar . gz
。对 jdk 的包进行解压。
解压完成后,将其复制到对应的目录当中。但是,按照以往的惯性,会把它复制到export下,即放到一个叫做/ export / servers /java 中去。
但是,现在安装的是 CDH 版本的组件,它并不会去读取默认的系统环境变量,而是会使用叫做 big top 的打包和测试运行的大数据工具进行相应的程序执行。所以,正常情况放在export下,就需要去配置 big top ,告诉 big top Java 在哪。现在,输入 ls
查看 GDK 是否已经成功解压。成功后,直接将它移动到 mv jdk 1.8.0_211/ usr / java
的目录下。需要注意的是:该目录就是默认 big top 和 CDH 读取 Java 环境变量的地方。所以,现在是将 Java 放在/ usr / java 下,之后就执行移动,完成以后,在 cd / usr / java 中,输入 ls
查看 jdk 。
修改 etc中的 profile ,配置环境变量,输入代码为: vi / etc / profile
。按 shift 进入到 vi 的最后一行,往里面插入一些内容。首先输入注释,即 Java Home 。环境变量 export JAVA = / usr / java / jdk 1.8.0_211
是在该目录下的。接着输入 export PATH = $ PATH :$ JAVA_HOME / bin
。这是为了向 path 中新增加 Java home 配置的目录当中的 bin 目录。这时,环境变量配置成功。
输入 source / etc / profile 、 Java - version
。 这时就能看到现在 JDK 的版本是1.8.0,是一个 Hot Spot ,即 Oracle 版本的 Java 。这时,整个的 Java 已经完成配置。如下图。
但是,当前所在的目录是 / usr / java。需要把 JDK 的包拷贝到 root @ cdh 02中,拷贝对应的 PWD 即可。输入代码为 scp jdk 1.8.0_211/ root @ cdh 02: $PWD
。显示不是一个目录,所以将其修改为 scp - r jdk 1.8.0_211/ root @ cdh 02: $PWD
。运行如下图。
需要将 Java 拷贝到 CDH 02和03上。 CDH 02 拷贝完成后,在拷贝 CDH 03 时需要注意的是:把211后面的斜杠去掉,不然它会把里面的东西拆散,然后拷到 PWD 对应的目录当中,就不是特别合适。所以在去掉斜杠之后,开始将其拷贝到 CDH 03当中。还有一点要注意的是最后的斜杠也要去掉,如果不去掉,就会产生一些小问题。正确代码如下图。
这时,拷贝已全部完成。接下来在 CDH 02中查看,输入 cd / usr / java 、ls
可以看到 jdk 1.8.0_211。如下图。
在 CDH 03中查看,同样输入 cd / usr / java 、ls 可以看到 jdk 1.8.0_211。如下图。
接下来,修改 vi / etc / profile 。步骤为输入export JAVA _HOME = / usr / java / jdk 1.8.0_211; export PATH = $ PATH :$ JAVA_HOME / bin
,就可以完成 CDH 02的配置。如下图。
回到CDH 03,步骤相同,输入vi / etc / profile
。修改步骤为输入export JAVA _HOME = / usr / java / jdk 1.8.0_211;
export PATH = $ PATH :$ JAVA_HOME / bin
。完成 cdh 03的配置。
配置好后,在 cdh 03中输入 source / etc / profile 、 java - version
,可以看到启动成功。完成后回到 cdh 02,检查是否有问题,并进行修改。输入 source / etc / profile 、 java - version
,可以看到没有问题。
这时, jdk 就安装成功了。