Apache Doris集群模式快速体验之标准部署(2)1

简介: Apache Doris集群模式快速体验之标准部署(2)1

Apache Doris集群模式快速体验之标准部署(2)

1

目标集群目标集群

  1. 1.版本:1.2.4.1
  2. 2.规模:3FE/3BE/1Broker

单节点初始化

JAVA环境

下载地址:https://www.oracle.com/cn/java/technologies/javase/javase8u211-later-archive-downloads.html

#初始化目录
mkdir /opt
cd /opt
mkdir java
cd java 
#上传下载好的arm java压缩包并解压
mkdir /usr/local/java
tar -xf jdk-8u361-linux-aarch64.tar.gz -C /usr/local/java
#配置环境变量
vim /etc/profile
export JAVA_HOME=/usr/local/java/jdk1.8.0_361 #这里一定要更改为自己的路径和文件名
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
#wq保存退出
#使环境生效
source /etc/profile
#确定java bin路径
which java
#最终确定路径:/usr/local/java/jdk1.8.0_361/bin

时钟设置

#同步时间,需要使⽤ ntpdate 命令,如果没有可以使⽤yum安装
yum install ntpdate
#使⽤ntpdate同步⽹络上的时间服务器的时间,例如 : time.windows.com、 ntp.aliyun.com
ntpdate -u ntp.aliyun.com
#可以将时间同步做成⼀个定时任务,每隔⼀段时间就同步⼀下⽹络的时间
crontab -e
* * * * * /usr/sbin/ntpdate -u ntp.aliyun.com   #输入然后wq保存退出
#查看crontab运行情况
crontab -l
tail -n 5 /var/log/cron

安装部署

安装包下载

#初始化目录
cd /opt 
mkdir doris1.2.4
#查看系统CPU型号
uname -a
#下载与系统cpu型号一致的包
wget https://apache-doris-releases.oss-accelerate.aliyuncs.com/apache-doris-1.2.4.1-bin-aarch64.tar.xz
#解压
xz -d apache-doris-1.2.4.1-bin-aarch64.tar.xz
tar -xvf apache-doris-1.2.4.1-bin-aarch64.tar
#目录结构如下
ll

FE配置

vim fe/conf/fe.conf
#只需要修改priority_networks
priority_networks = 192.168.31.81/24

BE配置

vim be/conf/be.conf 
#需要修改JAVA_HOME和priority_networks即可
JAVA_HOME=/usr/local/java/jdk1.8.0_361/
priority_networks = 192.168.31.81/24

初始化

#启动fe
sh fe/bin/start_fe.sh --daemon
#启动be
sh be/bin/start_be.sh --daemon
#添加be到集群
alter system add backend "192.168.31.81:9050";
#查看be状态
show PROC '/backends';

集群初始化

节点克隆

1.将初始化完成的fe/be进程关闭并关机

#停止fe
sh fe/bin/stop_fe.sh 
#停止be
sh be/bin/stop_be.sh 
#关机
shutdown

2.在VM的窗口-虚拟机资源库中找到上面初始化完成的节点,然后右键点击创建完整克隆即可

3.克隆完成后如图所示

集群HOST

#查看ip
ip addr
#当安装好虚拟机时,系统会自动配置IP,以这个IP去配置即可
192.168.31.81 doris01
192.168.31.72 doris02
192.168.31.136 doris03

集群免密

#分别在3个节点上使⽤rsa加密技术⽣成公钥和私钥;⼀路回⻋即可
#doris01
cd ~
ssh-keygen -t rsa
#doris02
cd ~
ssh-keygen -t rsa
#doris03
cd ~
ssh-keygen -t rsa
#生成公钥
#doris01
cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
ssh root@doris02 cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
ssh root@doris03 cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
# 查看认证文件,有3台节点的密钥
cat ~/.ssh/authorized_keys
#复制认证文件给其它两台
scp ~/.ssh/authorized_keys root@doris02:~/.ssh/authorized_keys
scp ~/.ssh/authorized_keys root@doris03:~/.ssh/authorized_keys


目录
打赏
0
1
0
0
3
分享
相关文章
天翼云:Apache Doris + Iceberg 超大规模湖仓一体实践
天翼云基于 Apache Doris 成功落地项目已超 20 个,整体集群规模超 50 套,部署节点超 3000 个,存储容量超 15PB
天翼云:Apache Doris + Iceberg 超大规模湖仓一体实践
云原生时代的架构革新,Apache Doris 存算分离如何实现弹性与性能双重提升
随着云基础设施的成熟,Apache Doris 3.0 正式支持了存算分离全新模式。基于这一架构,能够实现更低成本、极致弹性以及负载隔离。本文将介绍存算分离架构及其优势,并通过导入性能、查询性能、资源成本的测试,直观展现存算分离架构下的性能表现,为读者提供具体场景下的使用参考。
云原生时代的架构革新,Apache Doris 存算分离如何实现弹性与性能双重提升
数据无界、湖仓无界,Apache Doris 湖仓一体典型场景实战指南(下篇)
Apache Doris 提出“数据无界”和“湖仓无界”理念,提供高效的数据管理方案。本文聚焦三个典型应用场景:湖仓分析加速、多源联邦分析、湖仓数据处理,深入介绍 Apache Doris 的最佳实践,帮助企业快速响应业务需求,提升数据处理和分析效率
数据无界、湖仓无界,Apache Doris 湖仓一体典型场景实战指南(下篇)
数据无界、湖仓无界, Apache Doris 湖仓一体解决方案全面解读(上篇)
湖仓一体架构融合了数据湖的低成本、高扩展性,以及数据仓库的高性能、强数据治理能力,高效应对大数据时代的挑战。为助力企业实现湖仓一体的建设,Apache Doris 提出了数据无界和湖仓无界核心理念,并结合自身特性,助力企业加速从 0 到 1 构建湖仓体系,降低转型过程中的风险和成本。本文将对湖仓一体演进及 Apache Doris 湖仓一体方案进行介绍。
数据无界、湖仓无界, Apache Doris 湖仓一体解决方案全面解读(上篇)
Apache Doris 3.0.4 版本正式发布
该版本持续在存算分离、湖仓一体、异步物化视图等方面进行改进提升与问题修复
The Past, Present and Future of Apache Flink
本文整理自阿里云开源大数据负责人王峰(莫问)在 Flink Forward Asia 2024 上海站主论坛开场的分享,今年正值 Flink 开源项目诞生的第 10 周年,借此时机,王峰回顾了 Flink 在过去 10 年的发展历程以及 Flink社区当前最新的技术成果,最后展望下一个十年 Flink 路向何方。
445 33
The Past, Present and Future of Apache Flink
|
5月前
|
Apache Flink 2.0-preview released
Apache Flink 社区正积极筹备 Flink 2.0 的发布,这是自 Flink 1.0 发布以来的首个重大更新。Flink 2.0 将引入多项激动人心的功能和改进,包括存算分离状态管理、物化表、批作业自适应执行等,同时也包含了一些不兼容的变更。目前提供的预览版旨在让用户提前尝试新功能并收集反馈,但不建议在生产环境中使用。
1119 13
Apache Flink 2.0-preview released
分布式锁服务深度解析:以Apache Flink的Checkpointing机制为例
【10月更文挑战第7天】在分布式系统中,多个进程或节点可能需要同时访问和操作共享资源。为了确保数据的一致性和系统的稳定性,我们需要一种机制来协调这些进程或节点的访问,避免并发冲突和竞态条件。分布式锁服务正是为此而生的一种解决方案。它通过在网络环境中实现锁机制,确保同一时间只有一个进程或节点能够访问和操作共享资源。
198 3
Apache Doris Flink Connector 24.0.0 版本正式发布
该版本新增了对 Flink 1.20 的支持,并支持通过 Arrow Flight SQL 高速读取 Doris 中数据。
您有一份 Apache Flink 社区年度报告请查收~
您有一份 Apache Flink 社区年度报告请查收~

推荐镜像

更多
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等