CDH 搭建_仓库搭建_配置仓库服务器和源|学习笔记

简介: 快速学习 CDH 搭建_仓库搭建_配置仓库服务器和源

开发者学堂课程【2020版大数据实战项目之 DMP 广告系统(第二阶段) CDH 搭建_仓库搭建_配置仓库服务器和源】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/677/detail/11768


CDH 搭建_仓库搭建_配置仓库服务器和源


内容介绍:

一、安装 HTTP 服务器软件

二、创建 Yum 仓库的 HTTP 目录

三、在三台主机上配置 Yum 源

 

上节课已经把仓库整理完成并提供给大家,大家直接上传到虚拟机里即可。目前已经下载了 cloudera 的源,即在仓库下载步骤中将源放进 yum 源的配置目录里。接下来,搭建一个本地的 Yum 仓库服务器,就需要从服务器当中下载相应的包供别人进行使用。第一步,搭建 HTTP 的服务器, Yum 其实就是 Python 写的一个客户端软件,它能够管理系统里各种各样的安装包,并使用HTTP协议下载安装包。这样就需要去安装仓库的 HTTP 服务器。第二步,创建 HTTP 目录,把仓库放到目录当中。第三步,在三台主机上分别配置 Yum 源,指向创建的服务器,上述内容是大致的创建步骤。

 

一、安装 HTTP 服务器软件

首先,进入到 mobile xterm 当中,输入 cd 回到目录, clear 清空。接下来,输入 yum install -y httpd 安装 Apache 服务器。如下图。

image.png

装 nts 也能够提供文件下载服务。但是,如果需要进行一些配置还是比较麻烦的。这时开始安装,完成后可以看到启动成功。成功安装了 httpd Apache HTTP 的服务器,因为 HTTP 服务器默认情况下会占用80端口对外提供 HTTP 服务,并且会有一个默认的 HTTP 目录,在访问时就会直接到达该目录中。如何进行相应的配置?虽然成功下载 HTTPD ,但是还需要通过 service httpd start ,去运行 HTTP 服务,并且使用 chkconfig httpd on 进行开机自动加载。其他工具不用开机自动加载,因为 httpd 一般都会用到,所以在这里进行自动加载。如下图。

image.png

打开浏览器选中192.168.169.101,就可以直接访问到。如下图。

image.png

可以发现 Apache 服务器给出默认页面。有兴趣的可以看服务器说明页面。这时会默认跟踪目录,输入 mkdir -p /var/www/html/cdh/5, /var/www/html/ 是默认的会访问到Apache 服务器加载跟踪的目录。如下图。

image.png

 

二、创建 Yum 仓库的 HTTP 目录

创建 cdh 5的两个目录,也就是创建两级目录,就可以通过相应的浏览器进行访问、查看。进入浏览器当中,在 url 后直接输入 cdh ,可以发现它自动呈现目录。如下图。

image.png

点击文件5,可以看到下图。

image.png

会发现其实它是比较类似于一个普通的文件服务器。回到窗口, mv cloudera -cdh5/RPMS 的文件夹,拷贝到 /var/www/html/cdh/5 的目录中。拷贝完成之后进行相应的查看,输入 cd /var/www/html/cdh/5 ,去查看 RPMS 是否已经完成拷贝。如下图。

image.png

再次打开浏览器,进行刷新,就会发现 RPMS 的文件夹,如下图。

image.png

进入点击 noarch ,可以发现这些文件都是可以下载的。如下图。

image.png

比如下载 avro-doc ,完成后它就处于下载目录中,这就是 rpm 服务器的搭建。到此为止,就可以通过 url 去下载文件, yum-repo 仓库搭建成功。接下来配置 Yum 源;首先,修改配置文件, cloudera  Yum 源的配置文件在 /etc/ yum.repos.d 中,叫做 cloudera-cdh5.repo 。接下来,修改该文件,将 baseurl=https://archive.cloudera.com/cdh 5/redhat/6/x86_64/cdh/5/ 修改为 baseurl=http://cdh 01/cdh/5/。这就是默认的IP地址,此时相应步骤已完成。如下图。

image.png

这时可以使用刚才搭建的 Yum 源。理论上,现在使用 yum install -y avro 就可以直接进行安装。但是在 cdh5 的目录中,它不是一个下载服务器,也不是Yum源的服务器。要使用 createrepo . 的命令,这个点就是当前的 repo 目录,它提供了一些可以供外部进行相应查看的功能。如下图。

image.png

这时输入 repo 等待仓库的创建。仓库索引创建完成之后输入 ls 查看。这时发现多了一个叫做 repodata 的目录。如下图。

image.png 

此时 HTTP 的整个服务创建成功。


三、在三台主机上配置 Yum 源

但是现在只配置了 cdh 01的源,还要在 cdh 02中配置源。配置步骤是进入到用户目录下,打开笔记,找到第一步骤。把 wegt https://archive.cloudera.com/cdh 5/redhat/6/x86_64/cdh/cloudera-cdh5.repo 、 mv cloudera -cdh5.repo /ETC/yum.repos.d/ 初始源先下载,放在源的配置文件中。如下图。

image.png

接着直接右击 Paste 执行,这时没有 wget ,所以需要输入 yum install - y wget 。如下图。

image.png

接下来,等待安装同时进入到 cdh 03中输入 yum install - y wget 。之后回到 cdh 02中,下载完成后,再次拷贝刚才的内容。下载完成后把 cloudera-cdh5.repo 文件移动到 Yum 仓库的原配置文件夹 yum.repos.d 中。如下图。

image.png

移动完成后,直接修改 yum.repos.d ,找到 cloudera-cdh5.repo 。

image.png

修改要做的是将 baseurl=https://archive.cloudera.com/cdh 5/redhat/6/x86_64/cdh/5/ 修改为 baseurl=http://cdh 01/cdh/5/ 即可。 接下来,在 cdh 03中进行 Paste ,打开笔记重新复制,粘贴,执行。这是第一步下载。下载完成后把它移动进去,修改 vi /etc/yum.repos.d/cloudera-cdh5.repo 。接着修改 baseurl 的最后一个位置,修改为 cdh 01的仓库地址。这时,三台机器的 Yum 源就已经配置完成。接下来再安装其他组件时,就可以直接通过 Yum cdh 01的 Yum 仓库里进行相应的下载。

 

相关文章
|
1天前
|
网络协议 网络安全
使用NetAssist网络调试助手在单台计算机上配置TCP服务器和客户端
使用NetAssist网络调试助手在单台计算机上配置TCP服务器和客户端
13 0
|
2天前
|
存储 NoSQL 关系型数据库
MongoDB的配置服务器和复制机制
【7月更文挑战第2天】MongoDB配置服务器存储分片和权限元数据,支持在主节点故障时保持读服务。关键组件,性能影响显著。复制集包含Primary和Secondary,通过oplog实现数据同步,类似MySQL binlog。oplog的幂等性可能导致大量set操作,且大小受限,可能导致从节点需全量同步。读写分离提升效率,主从切换确保高可用。
4 0
|
4天前
|
弹性计算 缓存 安全
阿里云服务器ECS收费标准参考,2核4G配置ECS实例规格整理
阿里云提供多种2核4G ECS实例,如计算型c7、经济型e、u1等,价格不等,从68.0元/月到203.0元/月。ECS通用算力型u1实例采用高性能Intel处理器,网络收发包能力达30万PPS。经济型e实例基于Intel Xeon Platinum,适合入门级需求。2核4G服务器支持的并发访问人数依赖于软件效率、带宽、应用架构和用户行为等因素。更多信息请查看阿里云ECS产品页。
|
5天前
|
存储 缓存 运维
云计算中的服务器选型与配置:技术深度解析
【6月更文挑战第29天】云计算服务器选型与配置深度解析:关注业务需求、技术要求及成本效益。重点包括CPU、内存、存储和网络配置的优化,结合负载均衡、缓存、虚拟化和自动化运维策略,以提升性能和效率,确保云服务的稳定与高效。
|
8天前
|
前端开发 小程序 应用服务中间件
在服务器上正确配置域名https证书(ssl)及为什么不推荐使用宝塔申请免费ssl证书
在服务器上正确配置域名https证书(ssl)及为什么不推荐使用宝塔申请免费ssl证书
49 4
|
10天前
|
运维 Java 测试技术
Spring运维之boo项目表现层测试加载测试的专用配置属性以及在JUnit中启动web服务器发送虚拟请求
Spring运维之boo项目表现层测试加载测试的专用配置属性以及在JUnit中启动web服务器发送虚拟请求
16 3
|
13天前
|
存储 并行计算 数据处理
蓝易云 - 香港站群服务器1C,4C,8C,16C的配置介绍
以上是对服务器CPU核心数量的基本解释,但实际的服务器配置还会包括其他因素,如内存大小、存储类型和网络带宽等。这些因素都会影响服务器的性能和适用场景。
29 2
|
16天前
配置的代理服务器未响应怎么办
配置的代理服务器未响应怎么办
30 2
|
27天前
|
NoSQL 关系型数据库 应用服务中间件
jdk1.8、mysql、redis、nginx centos云服务器安装配置
jdk1.8、mysql、redis、nginx centos云服务器安装配置
|
27天前
|
缓存
蓝易云 - Cygwin代理服务器apt-cacher-ng搭建及配置
以上就是在Cygwin环境下搭建和配置apt-cacher-ng代理服务器的基本步骤。
19 1