Apache Doris Broker快速体验之Hadoop安装部署（1）
- 配置环境变量
- 配置JAVA环境
- 配置 core-site.xml 配置文件
- 配置 hdfs-site.xml 配置文件
- 配置 yarn-site.xml 配置文件
- 配置 mapred.site.xml 配置文件
- 配置 workers 文件
- 新建相关目录文件夹
环境信息
VM镜像及Hadoop版本说明。
硬件信息
- 1.CPU ：4C
- 2.CPU型号：ARM64
- 3.内存 ：10GB
- 4.硬盘 ：66GB SSD
软件信息
- 1.VM镜像版本 ：CentOS-7
- 2.Hadoop版本：3.3.4
前置准备
防火墙关闭
#查看防火墙状态 systemctl status firewalld #关闭防火墙 systemctl stop firewalld
新增hadoop用户
#新增hadoop用户 useradd hadoop passwd hadoop #hadoop用户新增sudo权限 vi /etc/sudoers #在root ALL=(ALL) ALL下加入一行 hadoop ALL=(ALL) ALL
Hadoop安装部署
#创建安装目录 mkdir -p /usr/hadoop #进入到安装目录 cd /usr/hadoop #根据需要选择版本：https://dlcdn.apache.org/hadoop/common/ wget https://dlcdn.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz #解压 tar -zxvf hadoop-3.3.4.tar.gz #重置路径 mv hadoop-3.3.4/* ./ #清除压缩包 rm -rf hadoop-3.3.4*
Hadoop初始化
配置环境变量
vi /etc/profile #hadoop export HADOOP_HOME=/usr/hadoop export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin source /etc/profile
配置JAVA环境
vim ./etc/hadoop/hadoop-env.sh #新增java home JAVA_HOME=/usr/local/java/jdk1.8.0_361
配置 core-site.xml 配置文件
vim ./etc/hadoop/core-site.xml #在配置文件中添加：hdfs 的数据访问地址和设置临时数据存放目录 <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://doris:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop_data/tmp</value> </property> </configuration> #后续需要创建对应hadoop级别的目录
配置 hdfs-site.xml 配置文件
vim ./etc/hadoop/hdfs-site.xml #在配置文件添加：文件副本数量、 #hdfs 的 namenode 数据存储目录、 #hdfs 的 datanode 数据 存储目录、hdfs 的 web 访问地址 <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/home/hadoop_data/dfs/nn</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/home/hadoop_data/dfs/dn</value> </property> <property> <name>dfs.namenode.http-address</name> <value>0.0.0.0:50070</value> </property> </configuration>
配置 yarn-site.xml 配置文件
vim ./etc/hadoop/yarn-site.xml <configuration> <!-- Site specific YARN configuration properties --> <property> <name>yarn.resourcemanager.hostname</name> <value>doris</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <!-- 避免与doris的一些默认端口冲突 --> <property> <name>yarn.resourcemanager.scheduler.address</name> <value>doris:8035</value> </property> <property> <name>yarn.nodemanager.localizer.address</name> <value>doris:8046</value> </property> </configuration>
配置 mapred.site.xml 配置文件
#在配置文件中添加：mapreduce 框架名字、mapreduce 历史任务地址、 #mapreduce 历史任务 web 访问地址 <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapreduce.jobhistory.address</name> <value>doris:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>doris:19888</value> </property> </configuration>
配置 workers 文件
vim ./etc/hadoop/workers #在配置文件里面添加 datanode 数据节点的主机名 doris
