我是一名大数据信息技术的专业的大二学生,在学完java基础,我们要开始搭建Hadoop平台,老师教学的是在虚拟机上面搭建Hadoop平台,因为我电脑原因,下载虚拟机也很麻烦,自己下载的虚拟机搭建Linux里面什么都没有,下载东西还需要自己去官网下载Hadoop解压包哥JDK解压包,一套流程下来很繁琐,正当我很苦恼时,我在哔哩哔哩上面看见博主正在使用云服务器搭建网站,我突然想到,Hadoop也是可以运行到网页上面的,就开始了我第一次接触云服务器,正碰到阿里云的飞天计划。
我第一次使用飞天计划领到了两周的使用时间,因为我以前用的Linux版本的是乌班图,我想着换一个选择了SentOS,云服务有一个好处,你可以随吧更换Linux版本,这就很舒服,在我了解了阿里云之后,我发现它真的太适合我了,它解决了我在搭建Hadoop之前的全部问题,在云服务器上面可以直接使用yum命令下载东西,然后自己解压,不管你电脑是什么系统,都可以使用云服务器,不用去下载虚拟机,在去安装Linux版本,云服务器直接解决了这些繁琐的工作,初使用云服务器给人的感觉就真的很友好,使用了一些常用命令,给人的感觉就很舒服,没有虚拟机CentOS上面那种小图形界面的尴尬,下面将是我搭建Hadoop的操作跟遇到的问题
搭建Hadoop平台需要两个软件JDK,Hadoop,先使用(wget --no-check-certificate https://repo.huaweicloud.com/java/jdk/8u151-b12/jdk-8u151-linux-x64.tar.gz)下载JDK安装包,在使用(tar -zxvf jdk-8u151-linux-x64.tar.gz)命令解压JDK安装包,使用
(echo 'export JAVA_HOME=/usr/java8' >> /etc/profile echo 'export PATH=$PATH:$JAVA_HOME/bin' >> /etc/profilesource /etc/profile)配置Java环境变量,用 -version命令查看是否安装Java成功。继续下载Hadoop安装包(wget --no-check-certificate https://repo.huaweicloud.com/apache/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz
)解压Hadoop安装包(tar -zxvf hadoop-3.1.3.tar.gz -C /opt/mv /opt/hadoop-3.1.3 /opt/hadoop)利用version命令查看是否安装好Hadoop,要是出现版本号就是安装好了,启动hadoop,利用jps查看进程,要是有六个进程就代表启动成功,然后去浏览器访问http://<ECS公网地址>:9097,就能显示hadoop,当我执行到这一步的时候,我hadoop版本是3x版本,默认的端口号跟书上的不一样,我一直找了很久的原因,最后才发现默认的端口号不一样,2x版本端口是8088,而3x版本是9097,我更改了之后还是不行,我才发现阿里云的防火墙没有开放这个端口号,就直接去阿里云网页里的安全组里添加一个9097端口号,就这么完美的结束啦
在使用云服务的这两周,真的是很愉快