编程要求
根据上述步骤,配置好Hadoop
开发环境,点击评测即可。
提示:如果出现文件解压大小限制的情况,可以使用
ulimit -f 1000000
命令来解除限制。
开始你的任务吧,祝你成功!
实现代码
判断JDK有没有安装:输入 echo $JAVA_HOME
就可以看到哦
窗口出现则表示JDK已经安装,可以进行下面的步骤。
如果没有安装,则先进行第一关的代码安装JDK
代码:
cd /opt tar -zxvf hadoop-3.1.0.tar.gz -C /app cd /app mv hadoop-3.1.0/ hadoop3.1
提示:如果出现文件解压大小限制的情况,可以使用 ulimit -f 1000000
命令来解除限制。
ssh-keygen -t rsa -P''回车 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod600 ~/.ssh/authorized_keys vim /etc/ssh/sshd_config
在文件中找到这三个
找到之后,移动光标
i
删掉开头的 #
和下图内容相同
cd /app/hadoop3.1/etc/hadoop/ vim hadoop-env.sh i # The java implementation to use. #export JAVA_HOME=${JAVA_HOME} exportJAVA_HOME=/app/jdk1.8.0_171 按esc键 冒号,shift+: wq
vim yarn-env.sh i exportJAVA_HOME=/app/jdk1.8.0_171 按esc键 冒号,shift+: wq
vim core-site.xml 在文件末尾的configuration标签中添加代码如下: <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> <description>HDFS的URI,文件系统://namenode标识:端口号</description> </property> <property> <name>hadoop.tmp.dir</name> <value>/usr/hadoop/tmp</value> <description>namenode上本地的hadoop临时文件夹</description> </property> 按esc键 冒号,shift+: wq
vim mapred-site.xml 在文件末尾的configuration标签中添加代码如下: <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> 按esc键 冒号,shift+: wq
vim yarn-site.xml 在文件末尾的configuration标签中添加代码如下: <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>192.168.2.10:8099</value> <description>这个地址是mr管理界面的</description> </property> 按esc键 冒号,shift+: wq
mkdir-p /usr/hadoop/tmp mkdir /usr/hadoop/hdfs mkdir /usr/hadoop/hdfs/data mkdir /usr/hadoop/hdfs/name vim /etc/profile 文件末尾插入以下代码: #set Hadoop EnviromentexportHADOOP_HOME=/app/hadoop3.1 exportPATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin 按esc键 冒号,shift+: wq source /etc/profile
hadoop namenode -formatcd /app/hadoop3.1/sbin vim start-dfs.sh i 回车键换行 在文件顶部添加以下参数: HDFS_DATANODE_USER=root HADOOP_SECURE_DN_USER=hdfs HDFS_NAMENODE_USER=root HDFS_SECONDARYNAMENODE_USER=root 按esc键 冒号,shift+: wq
vim stop-dfs.sh i 回车键换行 在文件顶部添加以下参数: HDFS_DATANODE_USER=root HADOOP_SECURE_DN_USER=hdfs HDFS_NAMENODE_USER=root HDFS_SECONDARYNAMENODE_USER=root 按esc键 冒号,shift+: wq
vim start-yarn.sh i 回车键换行 在文件顶部添加以下参数: YARN_RESOURCEMANAGER_USER=root HADOOP_SECURE_DN_USER=yarn YARN_NODEMANAGER_USER=root 按esc键 冒号,shift+: wq
vim stop-yarn.sh i 回车键换行 在文件顶部添加以下参数: YARN_RESOURCEMANAGER_USER=root HADOOP_SECURE_DN_USER=yarn YARN_NODEMANAGER_USER=root 按esc键 冒号,shift+: wq
start-dfs.sh jps
出现以下内容则成功,快测评吧