头歌Educoder——大数据Hadoop开发环境搭建(三)

简介: 编程要求

编程要求

根据上述步骤,配置好Hadoop开发环境,点击评测即可。

提示:如果出现文件解压大小限制的情况,可以使用 ulimit -f 1000000 命令来解除限制。


开始你的任务吧,祝你成功!

实现代码

判断JDK有没有安装:输入 echo $JAVA_HOME就可以看到哦

image.png

窗口出现则表示JDK已经安装,可以进行下面的步骤。

如果没有安装,则先进行第一关的代码安装JDK

代码:

cd /opt
tar -zxvf hadoop-3.1.0.tar.gz -C /app
cd /app
mv hadoop-3.1.0/ hadoop3.1

提示:如果出现文件解压大小限制的情况,可以使用 ulimit -f 1000000 命令来解除限制。

ssh-keygen -t rsa -P''回车
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod600 ~/.ssh/authorized_keys
vim /etc/ssh/sshd_config

在文件中找到这三个

image.png找到之后,移动光标

i

删掉开头的 # 和下图内容相同

image.png

cd /app/hadoop3.1/etc/hadoop/
vim hadoop-env.sh
i
# The java implementation to use.  #export JAVA_HOME=${JAVA_HOME}  exportJAVA_HOME=/app/jdk1.8.0_171
按esc键
冒号,shift+:
wq

image.png

vim yarn-env.sh
i
exportJAVA_HOME=/app/jdk1.8.0_171
按esc键
冒号,shift+:
wq

image.png

vim core-site.xml
在文件末尾的configuration标签中添加代码如下:
 <property>  
    <name>fs.default.name</name>  
    <value>hdfs://localhost:9000</value>  
    <description>HDFS的URI,文件系统://namenode标识:端口号</description>  
</property>  
<property>  
    <name>hadoop.tmp.dir</name>  
    <value>/usr/hadoop/tmp</value>  
    <description>namenode上本地的hadoop临时文件夹</description>  
</property>  
按esc键
冒号,shift+:
wq

image.png

vim mapred-site.xml
在文件末尾的configuration标签中添加代码如下:
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>
按esc键
冒号,shift+:
wq

image.png

vim yarn-site.xml
在文件末尾的configuration标签中添加代码如下:
<property>  
        <name>yarn.nodemanager.aux-services</name>  
        <value>mapreduce_shuffle</value>  
</property>  
<property>  
        <name>yarn.resourcemanager.webapp.address</name>  
        <value>192.168.2.10:8099</value>  
        <description>这个地址是mr管理界面的</description>  
</property>  
按esc键
冒号,shift+:
wq

image.png

mkdir-p /usr/hadoop/tmp 
mkdir /usr/hadoop/hdfs 
mkdir /usr/hadoop/hdfs/data 
mkdir /usr/hadoop/hdfs/name
vim /etc/profile
文件末尾插入以下代码:
#set Hadoop EnviromentexportHADOOP_HOME=/app/hadoop3.1
exportPATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
按esc键
冒号,shift+:
wq
source /etc/profile

image.png

hadoop namenode -formatcd /app/hadoop3.1/sbin
vim start-dfs.sh
i
回车键换行
在文件顶部添加以下参数:
#!/usr/bin/env bashHDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
按esc键
冒号,shift+:
wq

image.png

vim stop-dfs.sh
i
回车键换行
在文件顶部添加以下参数:
#!/usr/bin/env bashHDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
按esc键
冒号,shift+:
wq

image.png

vim start-yarn.sh
i
回车键换行
在文件顶部添加以下参数:
#!/usr/bin/env bashYARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
按esc键
冒号,shift+:
wq

image.png

vim stop-yarn.sh
i
回车键换行
在文件顶部添加以下参数:
#!/usr/bin/env bashYARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
按esc键
冒号,shift+:
wq

image.png

start-dfs.sh
jps

出现以下内容则成功,快测评吧

image.png

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
12月前
|
存储 分布式计算 Hadoop
从“笨重大象”到“敏捷火花”:Hadoop与Spark的大数据技术进化之路
从“笨重大象”到“敏捷火花”:Hadoop与Spark的大数据技术进化之路
596 79
|
10月前
|
分布式计算 Ubuntu Hadoop
Ubuntu22.04下搭建Hadoop3.3.6+Hbase2.5.6+Phoenix5.1.3开发环境的指南
呈上,这些步骤如诗如画,但有效且动人。仿佛一个画家在画布上描绘出一幅完美的画面,这就是你的开发环境。接下来,尽情去创造吧,祝编程愉快!
700 19
|
存储 分布式计算 大数据
Flume+Hadoop:打造你的大数据处理流水线
本文介绍了如何使用Apache Flume采集日志数据并上传至Hadoop分布式文件系统(HDFS)。Flume是一个高可用、可靠的分布式系统,适用于大规模日志数据的采集和传输。文章详细描述了Flume的安装、配置及启动过程,并通过具体示例展示了如何将本地日志数据实时传输到HDFS中。同时,还提供了验证步骤,确保数据成功上传。最后,补充说明了使用文件模式作为channel以避免数据丢失的方法。
772 4
|
存储 分布式计算 Hadoop
数据湖技术:Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第27天】在大数据时代,数据湖技术凭借其灵活性和成本效益成为企业存储和分析大规模异构数据的首选。Hadoop和Spark作为数据湖技术的核心组件,通过HDFS存储数据和Spark进行高效计算,实现了数据处理的优化。本文探讨了Hadoop与Spark的最佳实践,包括数据存储、处理、安全和可视化等方面,展示了它们在实际应用中的协同效应。
642 2
|
存储 分布式计算 Hadoop
数据湖技术:Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第26天】本文详细探讨了Hadoop与Spark在大数据处理中的协同作用,通过具体案例展示了两者的最佳实践。Hadoop的HDFS和MapReduce负责数据存储和预处理,确保高可靠性和容错性;Spark则凭借其高性能和丰富的API,进行深度分析和机器学习,实现高效的批处理和实时处理。
542 1
|
机器学习/深度学习 分布式计算 大数据
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
705 6
|
分布式计算 资源调度 Hadoop
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
377 2
|
存储 分布式计算 资源调度
两万字长文向你解密大数据组件 Hadoop
两万字长文向你解密大数据组件 Hadoop
690 11