开发者学堂课程【2020版大数据实战项目之 DMP 广告系统(第二阶段): CDH 搭建_仓库搭建_配置仓库服务器和源】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/677/detail/11768
CDH 搭建_仓库搭建_配置仓库服务器和源
内容介绍:
一、安装 HTTP 服务器软件
二、创建 Yum 仓库的 HTTP 目录
三、在三台主机上配置 Yum 源
上节课已经把仓库整理完成并提供给大家,大家直接上传到虚拟机里即可。目前已经下载了 cloudera 的源,即在仓库下载步骤中将源放进 yum 源的配置目录里。接下来,搭建一个本地的 Yum 仓库服务器,就需要从服务器当中下载相应的包供别人进行使用。第一步,搭建 HTTP 的服务器, Yum 其实就是 Python 写的一个客户端软件,它能够管理系统里各种各样的安装包,并使用HTTP协议下载安装包。这样就需要去安装仓库的 HTTP 服务器。第二步,创建 HTTP 目录,把仓库放到目录当中。第三步,在三台主机上分别配置 Yum 源,指向创建的服务器,上述内容是大致的创建步骤。
一、安装 HTTP 服务器软件
首先,进入到 mobile xterm 当中,输入 cd 回到目录, clear 清空。接下来,输入 yum install -y httpd
安装 Apache 服务器。如下图。
装 nts 也能够提供文件下载服务。但是,如果需要进行一些配置还是比较麻烦的。这时开始安装,完成后可以看到启动成功。成功安装了 httpd Apache HTTP 的服务器,因为 HTTP 服务器默认情况下会占用80端口对外提供 HTTP 服务,并且会有一个默认的 HTTP 目录,在访问时就会直接到达该目录中。如何进行相应的配置?虽然成功下载 HTTPD ,但是还需要通过 service httpd start ,去运行 HTTP 服务,并且使用 chkconfig httpd on 进行开机自动加载。其他工具不用开机自动加载,因为 httpd 一般都会用到,所以在这里进行自动加载。如下图。
打开浏览器选中192.168.169.101,就可以直接访问到。如下图。
可以发现 Apache 服务器给出默认页面。有兴趣的可以看服务器说明页面。这时会默认跟踪目录,输入 mkdir -p /var/www/html/cdh/5, /var/www/html/
是默认的会访问到Apache 服务器加载跟踪的目录。如下图。
二、创建 Yum 仓库的 HTTP 目录
创建 cdh 5的两个目录,也就是创建两级目录,就可以通过相应的浏览器进行访问、查看。进入浏览器当中,在 url 后直接输入 cdh
,可以发现它自动呈现目录。如下图。
点击文件5,可以看到下图。
会发现其实它是比较类似于一个普通的文件服务器。回到窗口, mv cloudera -cdh5/RPMS
的文件夹,拷贝到 /var/www/html/cdh/5 的目录中。拷贝完成之后进行相应的查看,输入 cd /var/www/html/cdh/5
,去查看 RPMS 是否已经完成拷贝。如下图。
再次打开浏览器,进行刷新,就会发现 RPMS 的文件夹,如下图。
进入点击 noarch ,可以发现这些文件都是可以下载的。如下图。
比如下载 avro-doc ,完成后它就处于下载目录中,这就是 rpm 服务器的搭建。到此为止,就可以通过 url 去下载文件, yum-repo 仓库搭建成功。接下来配置 Yum 源;首先,修改配置文件, cloudera Yum 源的配置文件在 /etc/ yum.repos.d 中,叫做 cloudera-cdh5.repo 。接下来,修改该文件,将 baseurl=https://archive.cloudera.com/cdh 5/redhat/6/x86_64/cdh/5/
修改为 baseurl=http://cdh 01/cdh/5/
。这就是默认的IP地址,此时相应步骤已完成。如下图。
这时可以使用刚才搭建的 Yum 源。理论上,现在使用 yum install -y avro
就可以直接进行安装。但是在 cdh5 的目录中,它不是一个下载服务器,也不是Yum源的服务器。要使用 createrepo . 的命令,这个点就是当前的 repo 目录,它提供了一些可以供外部进行相应查看的功能。如下图。
这时输入 repo 等待仓库的创建。仓库索引创建完成之后输入 ls 查看。这时发现多了一个叫做 repodata 的目录。如下图。
此时 HTTP 的整个服务创建成功。
三、在三台主机上配置 Yum 源
但是现在只配置了 cdh 01的源,还要在 cdh 02中配置源。配置步骤是进入到用户目录下,打开笔记,找到第一步骤。把 wegt https://archive.cloudera.com/cdh 5/redhat/6/x86_64/cdh/cloudera-cdh5.repo 、 mv cloudera -cdh5.repo /ETC/yum.repos.d/
初始源先下载,放在源的配置文件中。如下图。
接着直接右击 Paste 执行,这时没有 wget ,所以需要输入 yum install - y wget
。如下图。
接下来,等待安装同时进入到 cdh 03中输入 yum install - y wget
。之后回到 cdh 02中,下载完成后,再次拷贝刚才的内容。下载完成后把 cloudera-cdh5.repo 文件移动到 Yum 仓库的原配置文件夹 yum.repos.d 中。如下图。
移动完成后,直接修改 yum.repos.d ,找到 cloudera-cdh5.repo 。
修改要做的是将 baseurl=https://archive.cloudera.com/cdh 5/redhat/6/x86_64/cdh/5/
修改为 baseurl=http://cdh 01/cdh/5/
即可。 接下来,在 cdh 03中进行 Paste ,打开笔记重新复制,粘贴,执行。这是第一步下载。下载完成后把它移动进去,修改 vi /etc/yum.repos.d/cloudera-cdh5.repo
。接着修改 baseurl 的最后一个位置,修改为 cdh 01的仓库地址。这时,三台机器的 Yum 源就已经配置完成。接下来再安装其他组件时,就可以直接通过 Yum cdh 01
的 Yum 仓库里进行相应的下载。