Hadoop学习笔记(HDP)-Part.05 Yum源配置

简介: 01 关于HDP02 核心组件原理03 资源规划04 基础环境配置05 Yum源配置06 安装OracleJDK07 安装MySQL08 部署Ambari集群09 安装OpenLDAP10 创建集群11 安装Kerberos12 安装HDFS13 安装Ranger14 安装YARN+MR15 安装HIVE16 安装HBase17 安装Spark218 安装Flink19 安装Kafka20 安装Flume

目录
Part.01 关于HDP
Part.02 核心组件原理
Part.03 资源规划
Part.04 基础环境配置
Part.05 Yum源配置
Part.06 安装OracleJDK
Part.07 安装MySQL
Part.08 部署Ambari集群
Part.09 安装OpenLDAP
Part.10 创建集群
Part.11 安装Kerberos
Part.12 安装HDFS
Part.13 安装Ranger
Part.14 安装YARN+MR
Part.15 安装HIVE
Part.16 安装HBase
Part.17 安装Spark2
Part.18 安装Flink
Part.19 安装Kafka
Part.20 安装Flume

五、Yum源配置

1.配置系统Yum源

【hdp01】配置CentOS镜像Yum源

mkdir /mnt/cdrom
mount /dev/cdrom /mnt/cdrom/
rm -f /etc/yum.repos.d/*

创建repo文件,/etc/yum.repos.d/local.repo

[centos]
name=centos
baseurl=file:///mnt/cdrom
gpgcheck=0
enabled=1

更新yum源

yum clean all
yum update

安装httpd服务

yum install -y httpd
systemctl enable --now httpd

配置http服务指向CentOS源

mkdir /var/www/html/centos
mount /dev/cdrom /var/www/html/centos/

删除原有repo文件

ansible all -m shell -a 'rm -f /etc/yum.repos.d/*.repo'

配置所有节点的系统Yum源

ansible all -m yum_repository -a 'name="centos" description="centos" baseurl="http://hdp01.hdp.com/centos" enabled=yes gpgcheck=no'
ansible all -m shell -a 'yum clean all'
ansible all -m shell -a 'yum update'

2.配置Ambari Yum源

【hdp01】解压ambari压缩包

tar -zxvf /opt/hdp/ambari-2.7.5.0-centos7.tar.gz -C /var/www/html/

配置所有节点的ambari Yum源

ansible all -m yum_repository -a 'name="ambari" description="ambari" baseurl="http://hdp01.hdp.com/ambari/centos7/2.7.5.0-72" enabled=yes gpgcheck=yes gpgkey="http://hdp01.hdp.com/ambari/centos7/2.7.5.0-72/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins"'

查看/etc/yum.repos.d/ambari.repo文件

[ambari]
baseurl = http://hdp01.hdp.com/ambari/centos7/2.7.5.0-72
enabled = 1
gpgcheck = 1
gpgkey = http://hdp01.hdp.com/ambari/centos7/2.7.5.0-72/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
name = ambari

3.配置HDP Yum源

【hdp01】解压HDP压缩包

tar -zxvf /opt/hdp/HDP-3.1.5.0-centos7-rpm.tar.gz -C /var/www/html/

配置所有节点的HDP Yum源

ansible all -m yum_repository -a 'name="HDP" description="HDP" baseurl="http://hdp01.hdp.com/HDP/centos7/3.1.5.0-152" enabled=yes gpgcheck=yes gpgkey="http://hdp01.hdp.com/HDP/centos7/3.1.5.0-152/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins"'

查看/etc/yum.repos.d/HDP.repo文件

[HDP]
baseurl = http://hdp01.hdp.com/HDP/centos7/3.1.5.0-152
enabled = 1
gpgcheck = 1
gpgkey = http://hdp01.hdp.com/HDP/centos7/3.1.5.0-152/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
name = HDP

4.配置HDP-UTILS Yum源

【hdp01】解压HDP-UTILS压缩包

tar -zxvf /opt/hdp/HDP-UTILS-1.1.0.22-centos7.tar.gz -C /var/www/html/

配置所有节点的HDP-UTILS Yum源

ansible all -m yum_repository -a 'name="HDP-UTILS" description="HDP-UTILS" baseurl="http://hdp01.hdp.com/HDP-UTILS/centos7/1.1.0.22" enabled=yes gpgcheck=yes gpgkey="http://hdp01.hdp.com/HDP-UTILS/centos7/1.1.0.22/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins"'

查看/etc/yum.repos.d/HDP-UTILS.repo文件

[HDP-UTILS]
baseurl = http://hdp01.hdp.com/HDP-UTILS/centos7/1.1.0.22
enabled = 1
gpgcheck = 1
gpgkey = http://hdp01.hdp.com/HDP-UTILS/centos7/1.1.0.22/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
name = HDP-UTILS

5.配置HDP-GPL Yum源

【hdp01】解压HDP-GPL压缩包

tar -zxvf /opt/hdp/HDP-GPL-3.1.5.0-centos7-gpl.tar.gz -C /var/www/html/

配置所有节点的HDP-GPL Yum源

ansible all -m yum_repository -a 'name="HDP-GPL" description="HDP-GPL" baseurl="http://hdp01.hdp.com/HDP-GPL/centos7/3.1.5.0-152" enabled=yes gpgcheck=yes gpgkey="http://hdp01.hdp.com/HDP-GPL/centos7/3.1.5.0-152/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins"'

查看/etc/yum.repos.d/HDP-GPL.repo文件

[HDP-GPL]
baseurl = http://hdp01.hdp.com/HDP-GPL/centos7/3.1.5.0-152
enabled = 1
gpgcheck = 1
gpgkey = http://hdp01.hdp.com/HDP-GPL/centos7/3.1.5.0-152/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
name = HDP-GPL

6.配置OpenLDAP Yum源

下载以下安装包,并放在/opt/openldap/下
|安装包名称|说明|
|--|--|
| openldap | openldap服务端和客户端必须用的库文件 |
openldap-servers | 用于启动服务和设置,包含单独的ldap后台守护程序
openldap-clients | 在LDAP服务端使用,用户增删改查的命令行环境
openldap-devel | devel包,可选择性安装
openldap-servers-sql | 支持sql模块,可选择性安装
migrationtools | 通过migrationtools实现OpenLDAP用户及用户组的添加,导入系统账户,可选择性安装
compat-openldap | openldap兼容性库

安装createrepo

yum install -y createrepo

根据安装的rpm文件,生成repodata

createrepo /opt/openldap/

将repodata文件夹、rpm文件复制到/var/www/html/openldap下

cp -R /opt/openldap/ /var/www/html/openldap/

配置hdp01-02节点的openldap yum源

ansible all -m yum_repository -a 'name="OpenLDAP" description="OpenLDAP" baseurl="http://hdp01.hdp.com/openldap" enabled=yes gpgcheck=no'

查看/etc/yum.repos.d/OpenLDAP.repo文件

[OpenLDAP]
baseurl = http://hdp01.hdp.com/openldap
enabled = 1
gpgcheck = 0
name = OpenLDAP
相关文章
|
1月前
OpenEuler配置本地yum源
本文档介绍了如何在服务器和虚拟机上挂载光盘镜像并配置本地Yum仓库,包括创建挂载点、编辑repo文件、实现挂载持久化以及通过FTP共享本地仓库的方法。适用于需要频繁安装软件包或管理多台机器的场景。
242 0
OpenEuler配置本地yum源
|
1月前
|
分布式计算 Hadoop Shell
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
69 4
|
1月前
|
XML 分布式计算 资源调度
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(一)
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(一)
149 5
|
1月前
|
SQL 存储 分布式计算
Hadoop-16-Hive HiveServer2 HS2 允许客户端远程执行HiveHQL HCatalog 集群规划 实机配置运行
Hadoop-16-Hive HiveServer2 HS2 允许客户端远程执行HiveHQL HCatalog 集群规划 实机配置运行
41 3
|
1月前
|
XML 资源调度 网络协议
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(二)
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(二)
86 4
|
1月前
|
分布式计算 资源调度 Hadoop
大数据-01-基础环境搭建 超详细 Hadoop Java 环境变量 3节点云服务器 2C4G XML 集群配置 HDFS Yarn MapRedece
大数据-01-基础环境搭建 超详细 Hadoop Java 环境变量 3节点云服务器 2C4G XML 集群配置 HDFS Yarn MapRedece
76 4
|
1月前
|
SQL 分布式计算 Hadoop
Hadoop-34 HBase 安装部署 单节点配置 hbase-env hbase-site 超详细图文 附带配置文件
Hadoop-34 HBase 安装部署 单节点配置 hbase-env hbase-site 超详细图文 附带配置文件
70 2
|
1月前
|
SQL 存储 数据管理
Hadoop-15-Hive 元数据管理与存储 Metadata 内嵌模式 本地模式 远程模式 集群规划配置 启动服务 3节点云服务器实测
Hadoop-15-Hive 元数据管理与存储 Metadata 内嵌模式 本地模式 远程模式 集群规划配置 启动服务 3节点云服务器实测
56 2
|
1月前
|
分布式计算 Hadoop
Hadoop-27 ZooKeeper集群 集群配置启动 3台云服务器 myid集群 zoo.cfg多节点配置 分布式协调框架 Leader Follower Observer
Hadoop-27 ZooKeeper集群 集群配置启动 3台云服务器 myid集群 zoo.cfg多节点配置 分布式协调框架 Leader Follower Observer
47 1
|
2月前
|
分布式计算 Hadoop Devops
Hadoop集群配置https实战案例
本文提供了一个实战案例,详细介绍了如何在Hadoop集群中配置HTTPS,包括生成私钥和证书文件、配置keystore和truststore、修改hdfs-site.xml和ssl-client.xml文件,以及重启Hadoop集群的步骤,并提供了一些常见问题的故障排除方法。
75 3
Hadoop集群配置https实战案例