安装部署—本地 yum 源配置3&配置文件修改 | 学习笔记

简介: 快速学习 安装部署—本地 yum 源配置3&配置文件修改

开发者学堂课程【NoSQL 数据库 Kudu 教程安装部署—本地 yum 源配置3&配置文件修改学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/723/detail/12901


安装部署—本地 yum 源配置3&配置文件修改


内容介绍:

一、 Apache Kudu

二、 Kudu 节点配置

 

一、Apache kudu

安装和部署,官方提供了库的 RPM 包,最便捷的方式还是去下载的 RPM 包,创建一个自己本地的 yum 源,这样安装起来比较方便。首先了解下安装的节点规划问题,针对 Kudu master,做一个备份,做一个主备的概念,这里三台机场,都启动的 Master,这三个 master 之间形成了一种主备机制,在同一时间只能有一个是主,其的都是被接地,可以启动两个或者不启动只启动一个。这样就构成一个单节点的 master,另外,三台服务器上都是部署的 tablet server,简称叫做 tserver,所以在这里节点规划,不管 master 还是 tserver 都是,原因很简单,这对 master 做了一个备份的机制。

image.png

接下来,就是去配载的一个本地 yum 源,可以本地 yum 源下载好之后,对于安装 Kudu,包括 Apache 其他 CDH 软件,将官方提供的链接里面,给提供了 CDH 版本大概所有的软件的 RPM 包。大概有5G 左右非常大。如果觉得下载比较慢,可以打开给提供的参考资料,在资料的软件下面选择阿 Apache kudu

image.png

里面有已经下载好的 tar.gz 包。有5.04G,非常的大,这个包把夹出来之后,配成一个本地样品源,后面安装 CDH版本的 Google 也好,apache kudu 也好,甚至其软件将会非常的方便。

接下来有了这个包,就把上传到当中的某一台服务器,当做的本地样品源,在这里是以第三台服务器作为本地样品源,这个包有总共5G。加完之后,总共加起来大概十个 G,至少要保证选用的这台机器,至少的磁盘空间是充足的。如果不够可以考虑扩容,可以增加质量,增加的一个磁盘空间,因为当下都是用虚拟机来完成的。

接下来,比如把的安装包,上传到根目录下的 cloudear-data 路径下,这里就是所保存的 tar.gz 包,有了 tar.gz 包之后,

image.png

接下来针对做一个解压,解压完之后,会得到一个这样的文件,接下来重点就是修改本地 yum 源的配置文件,

这里还要注意一点,配置一个本地 yum 源的,除了 NOTE-3访问的 NOTE-2 note 也要去访问,这时候只能通过 HTTP 方式去到 NOTE-3下载的 IBM 包,所以,这里还需要安装一个外包服务器,当然这一方面就叫做 Apache server,是一个非常轻量级、简便的外包服务器。类似于的 time fine 的软件,启动完之后,其机器都可以通过 HTTP方式,到 note-3去下载,RPM 就不用到的公网上去下载,

首先去映射到一下的 http 服务,在 note-3这里,回车,当然,这一步,要保证的机器是联网的,安装好之后,这里会有提示这里已经安装好了,说已经成功安装,并且是最新的版本,

image.png

接下来这个服务就可以把设置为开机启动,或者让立即启动 service http startApache 服务的专业手法,叫做Apache server,在名称当中叫做 HTTP,这个跟 vim circle 很类似,

接下来重点就是修改 yum 的解析配置文件,知道 yum 源的配置默认是在的 etc 下的,叫做 yum.repos.d,接下来到这种下来看一下,在这个当中大家发现上面这些圣格 S 开头的,都是官方自带的,yum 源大多数都是网络 yum 源,在编辑一个自己的文件,这个文件名字无所谓,但是后缀名一定要是 repo,因为 yum 去加载 yum 源的时候,就会去读取这个路径下所有以 repo 结尾的文件,

image.png

这里编辑好了,里面添加了一个标识,然后,针对这个标识做一个名词解释。重点在于这里叫做 baseurl,这个地址就是这里,指向是 note-3,其服务器都通过在服务这个协议访问路的 note-3的这个路径下,就可以去打开的本地yum 源了,当然这里已经配置好,所以这里配置一定要证明最后一个顶,Double 等于 note-1表示是否启用本地 yum源。但是要注意,打开之后肯定会有很多问题,第一个首先要明确的 Apache 服务器,也就是 Http 的,默认的工作路径就是解析项目的路径,是在这个路径下,在 cd 进去看一下,在的 var 路径下 WWW 下的 HTML,这个比较类似于看到当中的 web APP

image.png

就是所谓的识别软件,工作趋势在这个路径下,但是,刚才讲的软件,是在根号下的 card,所以这时候有两种方式,第一种方式,把刚才加的软件,放在的这个 var,就是当前 Var 识别路径下,但是想到5G 的软件移动起来好像很刺激的样子,这时候最方便的就是去创建一个软链接,把 VAR 路径下,等下识别路径下,把刚才解压的这个软件路径来链接到这里来,路径是在 index of 的收入底下,是在的 card date 路径下,不管什么路径,创建的软链接相当于不用去访问了,这里创建在的 VR 这个路径,创建了一个叫做 CDH5.14.0,这个链接,正好指向 cloudear-date 下的CDH5.140,通过这种链接访问,就不需要去移动数据了。

这时候如果链接创建好,并且服务器 http 也启动成功,接下来就可以打开浏览去看一下这个能不能解析成功,以以往这里来打开看没有任何问题,但是打开可能就有问题,看不到任何目录报一个错说,说没有权限去访问这个问题。这个时候底层的原因很简单,开了很多,就是把的一个防火墙,selinux 给关闭掉,针对这个防火墙,selinux 关闭,有两种方式,第一种叫做临时关闭执行命令,另外一种永久关闭了,事实上在企业当中,针对内网服务器,这些防火墙有时候,不需要开启,当然是公网的跳板机,对外机提供服务的联网的肯定需要开启,所以这里去编辑一下这个文件,把里面的 information 改为 selinux 的重启服务,从此以后就告别了这个防火墙,就可以保证这些问题就是些权限的问题,还要注意点,当把 yum 源文件配置好之后,还要给复制给其的机器上去,要求每一台机器都可以通过的yum 源访问 note-3,刚才解析的这里,这样对于后面安装将会非常的方便。比如随便找一台机器,输入 yum resop list all,显示出当前这台机器可以展示的,首先来看上面这些,都是连网的公网的 yum 源,这里显示有阿里云的,有华为的,但是重点找这个叫做 local limp

image.png

这就是刚才配置的本地 Yum 源,看后面的状态也是 lim,这里面153个包,都是 CDH,要提供的包,这样去下载就比较方便,就可以去联网下载一些网络 yum 源的软件也可以从本地去下载 CH 相关软件将会非常的方便。

配置好之后下来就去执行命令安装 kuduyum 到直接一条命令搞定。这里,因为三台机器都配了 master 和的tserver,所以直接安装这一条命令可以了,三台机器是一模一样的。

kudu 是基础包,三台机都要运行 kudu 肯定都需要,kudu,然后叫做 kudu tserver 就是 top t。然后,是 Client 加的两个软件,一个是共享库,一个是共享库的 SDK,接下来直接把这个命令做一个复制,注意涉及到 PDF 复制中,一定要注意格式的问题,比如三台机器执行的命令一样,接下来就可以很方便。直接在的这一个 CRT 当中选择 option,选择这个叫做 view,叫做 command chart window,把下面这个打开,然后,把这个命令发送给所有对话窗口,这样就可以一个执行所有机器,做一个换传问题,直接回车如下图,这时候三台机器都会去联网下载,而且大概速度非常快,40MB,都是 note-3去下载,速度很快。

image.png

因为 kudu client 还有 Mastertserver,这样就完成了相关的一个加载,如果没有配置,可能需要去把这三个包,都要去联网,去到 cloudear 官网去寻找到,然后把给手动的安装,但是之间的依赖关系,可能会出现问题,所以最方便的就是这种方式配置,本地  yum 源,事实上,这种方式对于去安装 Aechep,其的随便软件也比较方便,当这三台机器安装好之后,启动之前要修改的配置文件节点都要配置,确认一下三台机都是 complete ,直接输入 clear 清屏,把三个屏幕清除掉。

 

二、Kudu 节点配置

kudu 的一个节点配置,这些配置,决定了能否启动成,配置,只要去指定一些 master he type p server 服务器的节点的一些相关的信息,总共有四个配置文件,首先是在的 etc kudu 路径下,这一块配置,三台机都一样,

接下来直接来做一个修改,首先这样来做,直接在下面进行整体编辑,用 VRM 打开 etc 路径下 kudu 下的 conf,首先修改叫做 master flog feel,这里面主要是修指定 master 节点的一个 ib 地址和端口以及运行时的一个日志,还有数据存放的目录,复制一下,加一个斜杠,然后这里做的编辑,这样是主要比较方便,下一期可以修改,也可以一个机一个机器执行,回车,这样就3台机器同时打开了,

image.png

打开之后,但是修改之后,需要三个 Var 编辑,同一个一个去修改,这不能并修改了,上面这两行不要动,上面的注释是不要修改下面的这两行,如果希望改的话,就到这个路径下,还有 etc default 的,也可以这里修改的是一个全局的,最好不要动,如果说要特别修改,比如测试一个单机版的单节点版的,甚可以去修改相关的绑定的一个端口,这里先不动,首先第一个,把这两个路径给做一个修改。这两个路径,一个叫做 FSWNL,叫做 right ahead log 叫做预先日志存放路径,一个是 date 存放路径,默认路径,都在这个路径下,把数据统一都放在 explode,还有一个参数叫做 kudu master,这是跟 master 相关的,所以这两个,统一这样来测字。此后,将来还需要一个参数,kudu master要注意细节问题。下面要加一个参数,叫做制定 master 的地址和端口,因为三台机器都会去部署 master 的,所以来制定一下 master 等一下就会在这三台机上 note-1,note-2,note-3。端口是7051,一定要检查清楚,

image.png

如果说部署是单节点的,就是概念故障的,只要制定一台机就可以。这里,Master 形成了一个储备,所以部署三台,这样配置完成之后,做一个保证一定要确定没有问题,比如前面有没有少一个杠,多一个一,少个一,master 这个t,不要缺少任何部件,接下来看一下第二个机器也是一样,来做一个修改,按一下 insert 这一步没有需要特别强调的。第三,要注意这个 dir 是没有 S 的下面的 dir,是有 S 的,各种细节决定了能不能成功,复制一下,这边做了一个粘贴,这里也做一个删除。启动时会有错误愿意是因为各种细节没有注意到,再把最后这一个也给加载进来制定master 的路径,复制好 note-1note-2note-3,主机名要跟的机器保持一致,点 shift 快速保存一下。

image.png

接下来到第三台,机器也是一样,只学了下面这两个存放日志和所谓的数据的路径,删除一下,然后,路径都是export,是不是路径,这个路径可以自己随的指定看到公司的规范,然后,注意句自己创建好这个文件夹,粘贴,接下来再把这一个 master 的地址给复制一遍。再点 master note-1-2-3,保存,

image.png

就完成了三台机器的第一个配置文件,制定 master 相关信息,接下来去修改的 t server forlog,也是在个路径下把这个拿出来,然后,把这个后面这个文档删除掉。这个文件,也是全局配置的 tablet server 服务器的相关配置。把复制出来,这三个还是首先去修改们存放数据的路径,也在 export 下,kudu 下刚才保存的 master 这个 tserve,另外,这个 tserver 作为集群的冲角色,现在有三个大哥,虽然任意时间只能有一个是大哥,另外两个是备用的“大哥”,但是,底下地址都告诉给,就会去连接 note-1-2,-3,这三个“大哥”当中哪一个是当下正在活跃的“大哥”,另外两个,是被封的大哥,所以这一块都是联络贯通的,来复制一下如下图地址,来了这里做一个编写,按下insert 快速的进行一下,保存好下面这个路径,也做一个快速的保存下来,把绑定 master 地址这一行,给推过来这里,跟本机的 IP 主机名是一样的,所以,这里不需要进行太多的修改,都是 note-1,7051,等一下要跟的环境不一样的整个修改,保存,

image.png

第二台场也是一样,其实这里还有个比较好便的方法,用快捷方式远程拷贝,比如现在针对二和三,就不修改了,刚才 master 是修改,现在拷贝,看已经把这个 tserver 给修改好了,SCP etc 路径下的 kudu 路径下点dis.conftserver,把这个文件给复制到 note-2机器也是在的 DPC 路径下 kudu 路径下的 conf,确认无误回车,这样方式的话看起来比较的快。随便找一台机做个验证,看一下这个方式做效果更好一点,在这个路径下给看一下,就是tserve,回车一看,验证正确的,做一个覆盖是 server 下的杠一杠二,这样也可以完成三台机的覆盖,可以一个个编辑,可以远程拷贝,

image.png

修改这个文件之后,并没有完事,这两个文件,相当于每台机器全局都要配置都是一样的,

接下来,要针对每台机上的 master server 做一个专门的配置,比如第123的都有 master,绑定的机器端口做完,所以都要具体的制定。还有的日志,包括的 tserver 也是一样,所以,接下来就要去修改这个文件,首先每天要修改master,这时不能远程拷贝了,每台机上可都不一样。所以用 VRM 编辑打开这个文件叫做 kudu-master,这里面主要是修改绑定的地址在的第一台机器上,在第一台机上绑定的地址,这里是000,就是本机,都要给改成的 IP,首先note-1,7051有一个master 保存。接下来第二台机上这里,note-2,所以之后再复制过来有问题,所以只能够把一个个修改 note-2 7051保存下来,第三台机器,就是 note-3跟刚才第一个保持一致,note-三,刚才这里能够知道分别在 note-17051note-2,3,一个是 note-1,一个是 note-2,一个是 note-3,这样就指定清楚了,接下来,再去修改最后一个叫做 cloudear tserver 的一个路径,复制做一个 they are mtserver,这和上面的也是一样的还是去绑定的一个端口,只不过,tserver 端口,是7050,刚才是7051,后面改一下 note-1,保存,shiftzz note-2,shiftzz note-3Note-3保存,如果要确保一定正确,最好在启动之前自己再去验证一下,

至此,就完成了所有的配置,虽然是四个配置文件,但是这设备当中的属性一定要给很清楚,有哪些问题,主要就是IP 和端口的问题,接下来,首先要注意在 kudu 启动之后,默认是以 kudu 用户进行访问的,所以去创建一下,刚才保存数据和日志的文件夹,并且,把修改为的 kudu,这一步很简单,首先去 make 一下这个文件夹,就是刚才指定的这个路径,这里叫 export 手下的 kudu,首先三台机器统一的去创建这个文件夹,再把这个文件夹的拥有者更改为的 kudu 用户,这样就具有权限,这一步很重要需要认真做,如果在企业当中用的是的普通用户,最好还要给这普通用户加上一个速度全线,如果日用户,就不用修改。如果完成了这些操作,至少把的 kudu,yum 源,以及的配置需求真正的了解,

image.png

在这么多操作当中,一定要心细,尤其涉及到节点属性修改的时候,每台机上总共有四个配置文件,有些文件是一样的,有些文件,每台机器还不一样,特别注意的 IP 和端口的问题。

相关文章
|
3月前
|
缓存 Ubuntu 前端开发
Linux配置yum源以及基本yum指令
Linux配置yum源以及基本yum指令
|
3月前
|
缓存 Linux Shell
RHEL7部署http应用配置共享yum源
RHEL7部署http应用配置共享yum源
80 0
|
8月前
Yum工具详解(二)-----Yum配置阿里源
Yum工具详解(二)-----Yum配置阿里源
2199 1
|
5月前
|
缓存 Linux
CentOS7配置阿里yum源 超详细!!!
CentOS7配置阿里yum源 超详细!!!
6538 0
|
4月前
|
Linux Apache
Linux【环境部署 02】yum源镜像下载+挂载镜像+本地yum源配置+局域网yum源服务搭建+局域网yum源使用(一篇学会离线yum源配置)
Linux【环境部署 02】yum源镜像下载+挂载镜像+本地yum源配置+局域网yum源服务搭建+局域网yum源使用(一篇学会离线yum源配置)
525 0
|
6月前
|
Linux 开发工具 索引
基于Linux系统的本地Yum源搭建与配置(ISO方式、RPM方式)
基于Linux系统的本地Yum源搭建与配置(ISO方式、RPM方式)
259 0
|
2月前
|
Linux 开发者
【Linux】yum本地配置
【Linux】yum本地配置
【Linux】yum本地配置
|
3月前
|
Linux
Linux 学习笔记七:YUM安装软件
Linux 学习笔记七:YUM安装软件
|
3月前
|
网络协议 Shell Linux
系统初始化shell,包括:挂载镜像、搭建yum、设置主机名及IP地址和主机名映射、配置动态IP、关闭防火墙和selinux
系统初始化shell,包括:挂载镜像、搭建yum、设置主机名及IP地址和主机名映射、配置动态IP、关闭防火墙和selinux
37 2
|
4月前
|
Java Linux Docker
Linux【上手 01】MobaXterm+系统版本查看+hostname修改+hosts修改+yum源配置+jdk安装+docker部署使用(不断完善)
Linux【上手 01】MobaXterm+系统版本查看+hostname修改+hosts修改+yum源配置+jdk安装+docker部署使用(不断完善)
55 0