Apache Doris集群模式快速体验之标准部署(2)1

简介: Apache Doris集群模式快速体验之标准部署(2)1

Apache Doris集群模式快速体验之标准部署(2)

1

目标集群目标集群

  1. 1.版本:1.2.4.1
  2. 2.规模:3FE/3BE/1Broker

单节点初始化

JAVA环境

下载地址:https://www.oracle.com/cn/java/technologies/javase/javase8u211-later-archive-downloads.html

#初始化目录
mkdir /opt
cd /opt
mkdir java
cd java 
#上传下载好的arm java压缩包并解压
mkdir /usr/local/java
tar -xf jdk-8u361-linux-aarch64.tar.gz -C /usr/local/java
#配置环境变量
vim /etc/profile
export JAVA_HOME=/usr/local/java/jdk1.8.0_361 #这里一定要更改为自己的路径和文件名
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
#wq保存退出
#使环境生效
source /etc/profile
#确定java bin路径
which java
#最终确定路径:/usr/local/java/jdk1.8.0_361/bin

时钟设置

#同步时间,需要使⽤ ntpdate 命令,如果没有可以使⽤yum安装
yum install ntpdate
#使⽤ntpdate同步⽹络上的时间服务器的时间,例如 : time.windows.com、 ntp.aliyun.com
ntpdate -u ntp.aliyun.com
#可以将时间同步做成⼀个定时任务,每隔⼀段时间就同步⼀下⽹络的时间
crontab -e
* * * * * /usr/sbin/ntpdate -u ntp.aliyun.com   #输入然后wq保存退出
#查看crontab运行情况
crontab -l
tail -n 5 /var/log/cron

安装部署

安装包下载

#初始化目录
cd /opt 
mkdir doris1.2.4
#查看系统CPU型号
uname -a
#下载与系统cpu型号一致的包
wget https://apache-doris-releases.oss-accelerate.aliyuncs.com/apache-doris-1.2.4.1-bin-aarch64.tar.xz
#解压
xz -d apache-doris-1.2.4.1-bin-aarch64.tar.xz
tar -xvf apache-doris-1.2.4.1-bin-aarch64.tar
#目录结构如下
ll

FE配置

vim fe/conf/fe.conf
#只需要修改priority_networks
priority_networks = 192.168.31.81/24

BE配置

vim be/conf/be.conf 
#需要修改JAVA_HOME和priority_networks即可
JAVA_HOME=/usr/local/java/jdk1.8.0_361/
priority_networks = 192.168.31.81/24

初始化

#启动fe
sh fe/bin/start_fe.sh --daemon
#启动be
sh be/bin/start_be.sh --daemon
#添加be到集群
alter system add backend "192.168.31.81:9050";
#查看be状态
show PROC '/backends';

集群初始化

节点克隆

1.将初始化完成的fe/be进程关闭并关机

#停止fe
sh fe/bin/stop_fe.sh 
#停止be
sh be/bin/stop_be.sh 
#关机
shutdown

2.在VM的窗口-虚拟机资源库中找到上面初始化完成的节点,然后右键点击创建完整克隆即可

3.克隆完成后如图所示

集群HOST

#查看ip
ip addr
#当安装好虚拟机时,系统会自动配置IP,以这个IP去配置即可
192.168.31.81 doris01
192.168.31.72 doris02
192.168.31.136 doris03

集群免密

#分别在3个节点上使⽤rsa加密技术⽣成公钥和私钥;⼀路回⻋即可
#doris01
cd ~
ssh-keygen -t rsa
#doris02
cd ~
ssh-keygen -t rsa
#doris03
cd ~
ssh-keygen -t rsa
#生成公钥
#doris01
cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
ssh root@doris02 cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
ssh root@doris03 cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
# 查看认证文件,有3台节点的密钥
cat ~/.ssh/authorized_keys
#复制认证文件给其它两台
scp ~/.ssh/authorized_keys root@doris02:~/.ssh/authorized_keys
scp ~/.ssh/authorized_keys root@doris03:~/.ssh/authorized_keys


相关文章
|
消息中间件 OLAP Kafka
Apache Doris 实时更新技术揭秘:为何在 OLAP 领域表现卓越?
Apache Doris 为何在 OLAP 领域表现卓越?凭借其主键模型、数据延迟、查询性能、并发处理、易用性等多方面特性的表现,在分析领域展现了独特的实时更新能力。
1071 9
|
存储 自然语言处理 分布式计算
Apache Doris 3.1 正式发布:半结构化分析全面升级,湖仓一体能力再跃新高
Apache Doris 3.1 正式发布!全面升级半结构化分析,支持 VARIANT 稀疏列与模板化 Schema,提升湖仓一体能力,增强 Iceberg/Paimon 集成,优化存储引擎与查询性能,助力高效数据分析。
1448 4
Apache Doris 3.1 正式发布:半结构化分析全面升级,湖仓一体能力再跃新高
|
存储 分布式计算 Apache
湖仓一体:小米集团基于 Apache Doris + Apache Paimon 实现 6 倍性能飞跃
小米通过将 Apache Doris(数据库)与 Apache Paimon(数据湖)深度融合,不仅解决了数据湖分析的性能瓶颈,更实现了 “1+1>2” 的协同效应。在这些实践下,小米在湖仓数据分析场景下获得了可观的业务收益。
1867 9
湖仓一体:小米集团基于 Apache Doris + Apache Paimon 实现 6 倍性能飞跃
|
人工智能 运维 监控
智能运维与数据治理:基于 Apache Doris 的 Data Agent 解决方案
本文基于 Apache Doris 数据运维治理 Agent 展开讨论,如何让 AI 成为 Doris 数据运维工程师和数据治理专家的智能助手,并在某些场景下实现对人工操作的全面替代。这种变革不仅仅是技术层面的进步,更是数据运维治理思维方式的根本性转变:从“被动响应”到“主动预防”,从“人工判断”到“智能决策”,从“孤立处理”到“协同治理”。
2076 11
智能运维与数据治理:基于 Apache Doris 的 Data Agent 解决方案
|
SQL 人工智能 数据挖掘
Apache Doris 4.0 AI 能力揭秘(二):为企业级应用而生的 AI 函数设计与实践
Apache Doris 4.0 原生集成 LLM 函数,将大语言模型能力深度融入 SQL 引擎,实现文本处理智能化与数据分析一体化。通过十大函数,支持智能客服、内容分析、金融风控等场景,提升实时决策效率。采用资源池化管理,保障数据一致性,降低传输开销,毫秒级完成 AI 分析。结合缓存复用、并行执行与权限控制,兼顾性能、成本与安全,推动数据库向 AI 原生演进。
1255 0
Apache Doris 4.0 AI 能力揭秘(二):为企业级应用而生的 AI 函数设计与实践
|
人工智能 数据处理 API
阿里云、Ververica、Confluent 与 LinkedIn 携手推进流式创新,共筑基于 Apache Flink Agents 的智能体 AI 未来
Apache Flink Agents 是由阿里云、Ververica、Confluent 与 LinkedIn 联合推出的开源子项目,旨在基于 Flink 构建可扩展、事件驱动的生产级 AI 智能体框架,实现数据与智能的实时融合。
1790 6
阿里云、Ververica、Confluent 与 LinkedIn 携手推进流式创新,共筑基于 Apache Flink Agents 的智能体 AI 未来
|
存储 Cloud Native 数据处理
从嵌入式状态管理到云原生架构:Apache Flink 的演进与下一代增量计算范式
本文整理自阿里云资深技术专家、Apache Flink PMC 成员梅源在 Flink Forward Asia 新加坡 2025上的分享,深入解析 Flink 状态管理系统的发展历程,从核心设计到 Flink 2.0 存算分离架构,并展望未来基于流批一体的通用增量计算方向。
890 0
从嵌入式状态管理到云原生架构:Apache Flink 的演进与下一代增量计算范式
|
SQL 人工智能 数据挖掘
Apache Flink:从实时数据分析到实时AI
Apache Flink 是实时数据处理领域的核心技术,历经十年发展,已从学术项目成长为实时计算的事实标准。它在现代数据架构中发挥着关键作用,支持实时数据分析、湖仓集成及实时 AI 应用。随着 Flink 2.0 的发布,其在流式湖仓、AI 驱动决策等方面展现出强大潜力,正推动企业迈向智能化、实时化的新阶段。
1471 9
Apache Flink:从实时数据分析到实时AI
|
SQL 人工智能 API
Apache Flink 2.1.0: 面向实时 Data + AI 全面升级,开启智能流处理新纪元
Apache Flink 2.1.0 正式发布,标志着实时数据处理引擎向统一 Data + AI 平台迈进。新版本强化了实时 AI 能力,支持通过 Flink SQL 和 Table API 创建及调用 AI 模型,新增 Model DDL、ML_PREDICT 表值函数等功能,实现端到端的实时 AI 工作流。同时增强了 Flink SQL 的流处理能力,引入 Process Table Functions(PTFs)、Variant 数据类型,优化流式 Join 及状态管理,显著提升作业稳定性与资源利用率。
1135 0
|
存储 人工智能 大数据
The Past, Present and Future of Apache Flink
本文整理自阿里云开源大数据负责人王峰(莫问)在 Flink Forward Asia 2024 上海站主论坛开场的分享,今年正值 Flink 开源项目诞生的第 10 周年,借此时机,王峰回顾了 Flink 在过去 10 年的发展历程以及 Flink社区当前最新的技术成果,最后展望下一个十年 Flink 路向何方。
1483 33
The Past, Present and Future of Apache Flink

推荐镜像

更多