CDH 搭建_kudu|学习笔记

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 快速学习 CDH 搭建_kudu

开发者学堂课程【2020版大数据实战项目之 DMP 广告系统(第二阶段)CDH 搭建_kudu】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/677/detail/11777


CDH 搭建_kudu


一、CDH 搭建_kudu

之前两次课介绍了 CDH 组建的安装虽然有些繁琐,但是是非常必要的。第一次安装要花费很久的时间。所以了解一些安装的内容以及步骤,甚至一些小细节是非常必要的。

安装 Kudu 依然使用已经配置好的 Yum 仓库来进行,整体步骤非常简单,但是安装上分为 Master 和T ablet server主是安装 Master server,从是安装 Tablet server。安装 Master server 的安装步骤是第一步安装软件包,第二步进行配置,第三步启动。安装 Tablet server 也是一样,第一步安装软件包,然后进行配置,最后启动。

1.集群规划

节点 职责 cdh01 Master servercdh02 Tablet servercdh03 Tablet server 应该在 cdh01上安装 Master,但是 cdh01上负载已经很高了,安装了 MySQL,hive 等特有的服务。后面还有可能要装 hue,使得 cdh01上的负载特别高,所以 cdho1只安装 master,将 Tablet server 装在 cdh02 和 cdh03上。在生产环境中 master一定要装多个,即01、02、03都需要有 master。

2、安装Master server的软件包

根据集群规划,尽量让 cdh01少一些负载,所以只在 cdh01上安装 Master server ,命令如下yum install -y kudu kudu -master kudu-client0 kudu-client-devel

进入 cdh01中,拷贝命令

[root@cdh01 lib]# yum install -y kudu kudu-master kudu-cliento kudu-client-devel

然后进入一个漫长的安装过程,安装过程可能会更加漫长,因为相关的包已经装到移动硬盘上了,本来硬盘的速度就有点慢,kudu 就安装完成了,对于 kudu,没有什么东西需要修改,但是一定要去确认一个地方。

image.png

3、配置 Master server

Kudu 的 Master server 没有太多可以配置的项目,默认的话日志和数据都会写入到/var目录下,只需要修改一下

BlockManager 的方式即可,在虚拟机上使用 Log 方式可能会带来一些问题,改为 File方式

--block_manager=file

但是有一点需要注意,一定确保 ntp 服务是开启的,可以使用 ntpstat 来查看,因为 Kudu 对时间同步的要求非常高, ntp 必须

可以自动同步

#查看时间是否是同步状态

ntpstat

[root@cdh01 lib]# ntpstat

Syncheonised 必须看到是这个状态,否则就会报错。

配置 ntpstat 只需要启动 ntp 服务。

[ root@cdhe1 lib]# vi /etc/ kudu/conf/master.gflagfile

进入后在最后一行修改

--block_manger=file

启动:

[ root@cdh01 lib]# service kudu-master startStarted Kudu Master Server ( kudu-master) :[oK ]

如果启动失败了,会显示 irror,启动失败第一印象要去查找哪里出错了,就要去查找相应的日志文件。

[ root@cdh01 lib]# cd /var /log

[ root@cdh01 lib]# ls

进去后安装的相应日志都在里面

[ root@cdh01 lib]# cd kudu

[ root@cdh01 lib]# ls

进去后里面就有对应的 kudu 日志。如果有出错就会有一个 kudu-master,irror的文件,去查看就可以。

4、运行 Master server

·运行 Master server

打开浏览器确认

输入:192.168.169.101:8051

image.png

进入以后显示为上图页面,说明是没有什么问题的。

5、安装 Tablet server 的软件包

根据集群规划,在 cdh02 , cdh03 中安装 Tablet server ,负责更为繁重的工作

yum install -y kudu kudu-tserver kudu-client0 kudu-client-devel

cdh02: [ root@cdh01 lib]# yum install -y kudu kudu-tserver kudu-client0 kudu-client-devel

cdh03: [ root@cdh01 lib]# yum install -y kudu kudu-tserver kudu-client0 kudu-client-devel

安装完成,Tablet server 是一个相当消耗资源的服务,是 kudu 中最主要的服务,

6、配置 Tablet server

Master server 相对来说没什么需要配置的,也无须知道各个 Tablet server 的位置,但是对于 Tablet server 来说,必须配置 Master server 的位置,因为一般都是从向主注册自己

在 cdh02 , cdh03 修改/etc/kudu/conf/tserver.gflagfile 为如下内容,如果有多个Master server 实例,用逗号分隔地址即可

--tserver_master_addrs=cdh01 :7051

同时 Tablet server 也需要设置 BlockManager

--block_manager=file

[ root@cdh02 lib]#  vi /etc/kudu/conf/tserver.gflagfile

第一个是配置 master,都不知道 master 是谁,如何加入集群,

--tserver_master_addrs=cdh01:7051

Master rpc 端口为7051,外部端口是8051,他 server rpc 端口是7050,外部端口是8050,如果有多个端口,用逗号连接;

第二个配置是—block-manager file

7、运行Tablet server

·启动

[ root@cdh02 lib]# service kudu-master startStarted Kudu Master Server ( kudu-master) :[oK ]

配置cdh03

[ root@cdh03 lib]#  vi /etc/kudu/conf/tserver.gflagfile

--tserver_master_addrs=cdh01:7051

—block-manager file

[ root@cdh03 lib]# service kudu-master startStarted Kudu Master Server ( kudu-master) :[oK ]

打开浏览器:发现其中有两个 tablet server

image.png

输入:192.168,169.102:8050

查看外部 ui,可以查看 kudu 的版本,已经 build id 的时间等的相关信息。

Kudu 搭建比较简单,搭建 master 以及 Tsever,二者都有三个步骤即安装、配置、启动。

相关实践学习
通过日志服务实现云资源OSS的安全审计
本实验介绍如何通过日志服务实现云资源OSS的安全审计。
相关文章
CDH5.6下线Hdfs的DataNode
CDH5.6下线Hdfs的DataNode
361 0
|
存储 分布式计算 负载均衡
大数据集群节点多块磁盘负载不均衡怎么办?
大数据集群节点多块磁盘负载不均衡怎么办?
|
5月前
|
人工智能 前端开发 API
如何快速开发视频下载器
本文介绍如何基于开源工具yt-dlp开发功能全面的视频下载器网站。yt-dlp作为youtube-dl的增强版,支持1000+网站,具备高效下载、格式选择及字幕处理等特性。文章详细解析了前后端架构设计,包括简洁的前端界面与基于Flask/Django的后端API实现,封装yt-dlp核心功能,提供进度跟踪和文件管理。同时探讨容器化部署、性能优化及扩展功能(如字幕翻译、批量下载)。案例“AI易视频”展示了AI辅助开发的高效性。开发时需遵守法律,尊重版权。
|
12月前
|
存储 C++ UED
【实战指南】4步实现C++插件化编程,轻松实现功能定制与扩展
本文介绍了如何通过四步实现C++插件化编程,实现功能定制与扩展。主要内容包括引言、概述、需求分析、设计方案、详细设计、验证和总结。通过动态加载功能模块,实现软件的高度灵活性和可扩展性,支持快速定制和市场变化响应。具体步骤涉及配置文件构建、模块编译、动态库入口实现和主程序加载。验证部分展示了模块加载成功的日志和配置信息。总结中强调了插件化编程的优势及其在多个方面的应用。
1088 180
|
9月前
|
自然语言处理 安全 Devops
GitLab 国际站中国大陆等地区停服,如何将数据快速迁移到云效
对于正在使用 GitLab 国际站托管代码的企业和研发团队,除迁移至极狐 GitLab 外,国内其他主流的 DevOps 平台也具有完备的产品能力,为开发者提供了更多的选择。其中,阿里云云效也提供了针对常见代码托管平台如 GitHub、GitLab 简单便捷的迁移方案,帮助用户快速完成核心代码数据的迁移,确保代码资产安全。
|
存储 算法 数据安全/隐私保护
基于SHA-256的大文档加密模块设计与实现
基于SHA-256的大文档加密模块设计与实现
|
存储 分布式计算 Hadoop
Hadoop的HDFS数据均衡
【6月更文挑战第13天】
560 3
|
流计算 资源调度 Java
Flink on YARN(下):常见问题与排查思路
上篇分享了基于 FLIP-6 重构后的资源调度模型介绍 Flink on YARN 应用启动全流程,本文将根据社区大群反馈,解答客户端和 Flink Cluster 的常见问题,分享相关问题的排查思路。
Flink on YARN(下):常见问题与排查思路
|
SQL 存储 固态存储
presto、impala、kudu相关优化整理
presto、impala、kudu相关优化整理
|
存储 JSON 分布式计算
HDFS教程(05)- HDFS磁盘均衡
HDFS教程(05)- HDFS磁盘均衡
467 0