CDH 搭建_仓库搭建_配置仓库服务器和源|学习笔记

简介: 快速学习 CDH 搭建_仓库搭建_配置仓库服务器和源

开发者学堂课程【2020版大数据实战项目之 DMP 广告系统(第二阶段) CDH 搭建_仓库搭建_配置仓库服务器和源】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/677/detail/11768


CDH 搭建_仓库搭建_配置仓库服务器和源


内容介绍:

一、安装 HTTP 服务器软件

二、创建 Yum 仓库的 HTTP 目录

三、在三台主机上配置 Yum 源

 

上节课已经把仓库整理完成并提供给大家,大家直接上传到虚拟机里即可。目前已经下载了 cloudera 的源,即在仓库下载步骤中将源放进 yum 源的配置目录里。接下来,搭建一个本地的 Yum 仓库服务器,就需要从服务器当中下载相应的包供别人进行使用。第一步,搭建 HTTP 的服务器, Yum 其实就是 Python 写的一个客户端软件,它能够管理系统里各种各样的安装包,并使用HTTP协议下载安装包。这样就需要去安装仓库的 HTTP 服务器。第二步,创建 HTTP 目录,把仓库放到目录当中。第三步,在三台主机上分别配置 Yum 源,指向创建的服务器,上述内容是大致的创建步骤。

 

一、安装 HTTP 服务器软件

首先,进入到 mobile xterm 当中,输入 cd 回到目录, clear 清空。接下来,输入 yum install -y httpd 安装 Apache 服务器。如下图。

image.png

装 nts 也能够提供文件下载服务。但是,如果需要进行一些配置还是比较麻烦的。这时开始安装,完成后可以看到启动成功。成功安装了 httpd Apache HTTP 的服务器,因为 HTTP 服务器默认情况下会占用80端口对外提供 HTTP 服务,并且会有一个默认的 HTTP 目录,在访问时就会直接到达该目录中。如何进行相应的配置?虽然成功下载 HTTPD ,但是还需要通过 service httpd start ,去运行 HTTP 服务,并且使用 chkconfig httpd on 进行开机自动加载。其他工具不用开机自动加载,因为 httpd 一般都会用到,所以在这里进行自动加载。如下图。

image.png

打开浏览器选中192.168.169.101,就可以直接访问到。如下图。

image.png

可以发现 Apache 服务器给出默认页面。有兴趣的可以看服务器说明页面。这时会默认跟踪目录,输入 mkdir -p /var/www/html/cdh/5, /var/www/html/ 是默认的会访问到Apache 服务器加载跟踪的目录。如下图。

image.png

 

二、创建 Yum 仓库的 HTTP 目录

创建 cdh 5的两个目录,也就是创建两级目录,就可以通过相应的浏览器进行访问、查看。进入浏览器当中,在 url 后直接输入 cdh ,可以发现它自动呈现目录。如下图。

image.png

点击文件5,可以看到下图。

image.png

会发现其实它是比较类似于一个普通的文件服务器。回到窗口, mv cloudera -cdh5/RPMS 的文件夹,拷贝到 /var/www/html/cdh/5 的目录中。拷贝完成之后进行相应的查看,输入 cd /var/www/html/cdh/5 ,去查看 RPMS 是否已经完成拷贝。如下图。

image.png

再次打开浏览器,进行刷新,就会发现 RPMS 的文件夹,如下图。

image.png

进入点击 noarch ,可以发现这些文件都是可以下载的。如下图。

image.png

比如下载 avro-doc ,完成后它就处于下载目录中,这就是 rpm 服务器的搭建。到此为止,就可以通过 url 去下载文件, yum-repo 仓库搭建成功。接下来配置 Yum 源;首先,修改配置文件, cloudera  Yum 源的配置文件在 /etc/ yum.repos.d 中,叫做 cloudera-cdh5.repo 。接下来,修改该文件,将 baseurl=https://archive.cloudera.com/cdh 5/redhat/6/x86_64/cdh/5/ 修改为 baseurl=http://cdh 01/cdh/5/。这就是默认的IP地址,此时相应步骤已完成。如下图。

image.png

这时可以使用刚才搭建的 Yum 源。理论上,现在使用 yum install -y avro 就可以直接进行安装。但是在 cdh5 的目录中,它不是一个下载服务器,也不是Yum源的服务器。要使用 createrepo . 的命令,这个点就是当前的 repo 目录,它提供了一些可以供外部进行相应查看的功能。如下图。

image.png

这时输入 repo 等待仓库的创建。仓库索引创建完成之后输入 ls 查看。这时发现多了一个叫做 repodata 的目录。如下图。

image.png 

此时 HTTP 的整个服务创建成功。


三、在三台主机上配置 Yum 源

但是现在只配置了 cdh 01的源,还要在 cdh 02中配置源。配置步骤是进入到用户目录下,打开笔记,找到第一步骤。把 wegt https://archive.cloudera.com/cdh 5/redhat/6/x86_64/cdh/cloudera-cdh5.repo 、 mv cloudera -cdh5.repo /ETC/yum.repos.d/ 初始源先下载,放在源的配置文件中。如下图。

image.png

接着直接右击 Paste 执行,这时没有 wget ,所以需要输入 yum install - y wget 。如下图。

image.png

接下来,等待安装同时进入到 cdh 03中输入 yum install - y wget 。之后回到 cdh 02中,下载完成后,再次拷贝刚才的内容。下载完成后把 cloudera-cdh5.repo 文件移动到 Yum 仓库的原配置文件夹 yum.repos.d 中。如下图。

image.png

移动完成后,直接修改 yum.repos.d ,找到 cloudera-cdh5.repo 。

image.png

修改要做的是将 baseurl=https://archive.cloudera.com/cdh 5/redhat/6/x86_64/cdh/5/ 修改为 baseurl=http://cdh 01/cdh/5/ 即可。 接下来,在 cdh 03中进行 Paste ,打开笔记重新复制,粘贴,执行。这是第一步下载。下载完成后把它移动进去,修改 vi /etc/yum.repos.d/cloudera-cdh5.repo 。接着修改 baseurl 的最后一个位置,修改为 cdh 01的仓库地址。这时,三台机器的 Yum 源就已经配置完成。接下来再安装其他组件时,就可以直接通过 Yum cdh 01的 Yum 仓库里进行相应的下载。

 

相关文章
|
13天前
|
存储 分布式计算 固态存储
阿里云2核16G、4核32G、8核64G配置云服务器租用收费标准与活动价格参考
2核16G、8核64G、4核32G配置的云服务器处理器与内存比为1:8,这种配比的云服务器一般适用于数据分析与挖掘,Hadoop、Spark集群和数据库,缓存等内存密集型场景,因此,多为企业级用户选择。目前2核16G配置按量收费最低收费标准为0.54元/小时,按月租用标准收费标准为260.44元/1个月。4核32G配置的阿里云服务器按量收费标准最低为1.08元/小时,按月租用标准收费标准为520.88元/1个月。8核64G配置的阿里云服务器按量收费标准最低为2.17元/小时,按月租用标准收费标准为1041.77元/1个月。本文介绍这些配置的最新租用收费标准与活动价格情况,以供参考。
|
12天前
|
监控 PHP Apache
优化 PHP-FPM 参数配置:实现服务器性能提升
优化PHP-FPM的参数配置可以显著提高服务器的性能和稳定性。通过合理设置 `pm.max_children`、`pm.start_servers`、`pm.min_spare_servers`、`pm.max_spare_servers`和 `pm.max_requests`等参数,并结合监控和调优措施,可以有效应对高并发和负载波动,确保Web应用程序的高效运行。希望本文提供的优化建议和配置示例能够帮助您实现服务器性能的提升。
33 3
|
14天前
|
存储 缓存 固态存储
阿里云服务器2核8G、4核16G、8核32G配置租用收费标准与活动价格参考
2核8G、8核32G、4核16G配置的云服务器处理器与内存比为1:4,这种配比的云服务器一般适用于中小型数据库系统、缓存、搜索集群和企业办公类应用等通用型场景,因此,多为企业级用户选择。本文介绍这些配置的最新租用收费标准与活动价格情况,以供参考。
|
15天前
|
存储 编解码 安全
阿里云服务器2核4G、4核8G、8核16G配置租用收费标准与活动价格参考
通常情况下,个人和一般企业用户在购买阿里云服务器时比较喜欢购买2核4G、4核8G、8核16G等配置,这些配置既能满足各种图文类中小型网站和应用又能满足企业网站应用、批量计算、中小型数据库系统等场景,2核4G配置适合新手入门或初创企业,4核8G与8核16G兼具成本与性能优势,适合通用场景,本文介绍这些配置的最新购买价格,包含原价收费标准和最新活动价格。
|
1月前
|
JSON JavaScript 前端开发
《进阶篇第6章:vue中的ajax》包括回顾发送ajax请求方式、vue-cli脚手架配置代理服务器、vue-resource
《进阶篇第6章:vue中的ajax》包括回顾发送ajax请求方式、vue-cli脚手架配置代理服务器、vue-resource
59 22
|
20天前
|
PHP 数据库 数据安全/隐私保护
布谷直播源码部署服务器关于数据库配置的详细说明
布谷直播系统源码搭建部署时数据库配置明细!
|
29天前
|
NoSQL Linux PHP
|
1月前
|
JavaScript 前端开发 Java
vue2知识点:vue-cli脚手架配置代理服务器
vue2知识点:vue-cli脚手架配置代理服务器
51 7
|
1月前
|
前端开发 JavaScript Java
第6章:Vue中的ajax(包含:回顾发送ajax请求方式、vue-cli脚手架配置代理服务器)
第6章:Vue中的ajax(包含:回顾发送ajax请求方式、vue-cli脚手架配置代理服务器)
63 4
|
1月前
|
弹性计算 应用服务中间件 网络安全
ECS服务器使用:SSL证书安装、配置和问题定位指南
本文简要介绍了SSL证书的生成与部署方法,包括使用OpenSSL生成自签名证书和从CA获取证书的步骤,以及在Apache和Nginx服务器上的配置方法。此外,还提供了测试证书是否生效的方法和常见问题的解决策略,帮助确保证书正确安装并解决调试过程中可能遇到的问题。
149 0
下一篇
无影云桌面