Apache Doris Broker快速体验之Hadoop安装部署（1）1

2023-08-09 100

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

简介： Apache Doris Broker快速体验之Hadoop安装部署（1）1

Apache Doris Broker快速体验之Hadoop安装部署（1）

环境信息

前置准备

常见问题

启动时无权限

解决方法

常用默认端口验证

环境信息

VM镜像及Hadoop版本说明。

硬件信息

1.CPU ：4C
2.CPU型号：ARM64
3.内存 ：10GB
4.硬盘 ：66GB SSD

软件信息

1.VM镜像版本 ：CentOS-7
2.Hadoop版本：3.3.4

前置准备

防火墙关闭

#查看防火墙状态 
systemctl status firewalld
#关闭防火墙 
systemctl stop firewalld

新增hadoop用户

#新增hadoop用户
useradd hadoop
passwd hadoop
#hadoop用户新增sudo权限 
vi /etc/sudoers
#在root    ALL=(ALL)       ALL下加入一行
hadoop    ALL=(ALL)       ALL

Hadoop安装部署

#创建安装目录
mkdir -p /usr/hadoop
#进入到安装目录
cd /usr/hadoop
#根据需要选择版本：https://dlcdn.apache.org/hadoop/common/
wget https://dlcdn.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz
#解压
tar -zxvf hadoop-3.3.4.tar.gz 
#重置路径
mv hadoop-3.3.4/* ./
#清除压缩包
rm -rf hadoop-3.3.4*

Hadoop初始化

配置环境变量

 vi /etc/profile
#hadoop
export HADOOP_HOME=/usr/hadoop
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
source /etc/profile

配置JAVA环境

vim ./etc/hadoop/hadoop-env.sh
#新增java home
JAVA_HOME=/usr/local/java/jdk1.8.0_361

配置 core-site.xml 配置文件

vim ./etc/hadoop/core-site.xml 
#在配置文件中添加：hdfs 的数据访问地址和设置临时数据存放目录
<configuration>
 <property>
  <name>fs.defaultFS</name>
  <value>hdfs://doris:9000</value>
 </property>
 <property>
  <name>hadoop.tmp.dir</name>
  <value>/home/hadoop_data/tmp</value>
 </property>
</configuration>
#后续需要创建对应hadoop级别的目录

配置 hdfs-site.xml 配置文件

vim ./etc/hadoop/hdfs-site.xml
#在配置文件添加：文件副本数量、
#hdfs 的 namenode 数据存储目录、
#hdfs 的 datanode 数据 存储目录、hdfs 的 web 访问地址
<configuration>
 <property>
  <name>dfs.replication</name>
  <value>1</value>
 </property>
 <property>
  <name>dfs.namenode.name.dir</name>
  <value>/home/hadoop_data/dfs/nn</value>
 </property>
 <property>
  <name>dfs.datanode.data.dir</name>
  <value>/home/hadoop_data/dfs/dn</value>
 </property>
 <property>
  <name>dfs.namenode.http-address</name>
  <value>0.0.0.0:50070</value>
 </property>
</configuration>

配置 yarn-site.xml 配置文件

vim ./etc/hadoop/yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
 <property>
  <name>yarn.resourcemanager.hostname</name>
  <value>doris</value>
 </property>
 <property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
 </property>
<!-- 避免与doris的一些默认端口冲突 -->
 <property>  
  <name>yarn.resourcemanager.scheduler.address</name>  
  <value>doris:8035</value>  
 </property> 
 <property>  
   <name>yarn.nodemanager.localizer.address</name>  
   <value>doris:8046</value>  
 </property>  
</configuration>

配置 mapred.site.xml 配置文件

#在配置文件中添加：mapreduce 框架名字、mapreduce 历史任务地址、
#mapreduce 历史任务 web 访问地址
<configuration>
 <property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
 </property>
 <property>
  <name>mapreduce.jobhistory.address</name>
  <value>doris:10020</value>
 </property>
 <property>
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>doris:19888</value>
 </property>
</configuration>

配置 workers 文件

vim ./etc/hadoop/workers
#在配置文件里面添加 datanode 数据节点的主机名 
doris