Apache Doris集群模式快速体验之标准部署(2)1

简介: Apache Doris集群模式快速体验之标准部署(2)1

Apache Doris集群模式快速体验之标准部署(2)

1

目标集群目标集群

  1. 1.版本:1.2.4.1
  2. 2.规模:3FE/3BE/1Broker

单节点初始化

JAVA环境

下载地址:https://www.oracle.com/cn/java/technologies/javase/javase8u211-later-archive-downloads.html

#初始化目录
mkdir /opt
cd /opt
mkdir java
cd java 
#上传下载好的arm java压缩包并解压
mkdir /usr/local/java
tar -xf jdk-8u361-linux-aarch64.tar.gz -C /usr/local/java
#配置环境变量
vim /etc/profile
export JAVA_HOME=/usr/local/java/jdk1.8.0_361 #这里一定要更改为自己的路径和文件名
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
#wq保存退出
#使环境生效
source /etc/profile
#确定java bin路径
which java
#最终确定路径:/usr/local/java/jdk1.8.0_361/bin

时钟设置

#同步时间,需要使⽤ ntpdate 命令,如果没有可以使⽤yum安装
yum install ntpdate
#使⽤ntpdate同步⽹络上的时间服务器的时间,例如 : time.windows.com、 ntp.aliyun.com
ntpdate -u ntp.aliyun.com
#可以将时间同步做成⼀个定时任务,每隔⼀段时间就同步⼀下⽹络的时间
crontab -e
* * * * * /usr/sbin/ntpdate -u ntp.aliyun.com   #输入然后wq保存退出
#查看crontab运行情况
crontab -l
tail -n 5 /var/log/cron

安装部署

安装包下载

#初始化目录
cd /opt 
mkdir doris1.2.4
#查看系统CPU型号
uname -a
#下载与系统cpu型号一致的包
wget https://apache-doris-releases.oss-accelerate.aliyuncs.com/apache-doris-1.2.4.1-bin-aarch64.tar.xz
#解压
xz -d apache-doris-1.2.4.1-bin-aarch64.tar.xz
tar -xvf apache-doris-1.2.4.1-bin-aarch64.tar
#目录结构如下
ll

FE配置

vim fe/conf/fe.conf
#只需要修改priority_networks
priority_networks = 192.168.31.81/24

BE配置

vim be/conf/be.conf 
#需要修改JAVA_HOME和priority_networks即可
JAVA_HOME=/usr/local/java/jdk1.8.0_361/
priority_networks = 192.168.31.81/24

初始化

#启动fe
sh fe/bin/start_fe.sh --daemon
#启动be
sh be/bin/start_be.sh --daemon
#添加be到集群
alter system add backend "192.168.31.81:9050";
#查看be状态
show PROC '/backends';

集群初始化

节点克隆

1.将初始化完成的fe/be进程关闭并关机

#停止fe
sh fe/bin/stop_fe.sh 
#停止be
sh be/bin/stop_be.sh 
#关机
shutdown

2.在VM的窗口-虚拟机资源库中找到上面初始化完成的节点,然后右键点击创建完整克隆即可

3.克隆完成后如图所示

集群HOST

#查看ip
ip addr
#当安装好虚拟机时,系统会自动配置IP,以这个IP去配置即可
192.168.31.81 doris01
192.168.31.72 doris02
192.168.31.136 doris03

集群免密

#分别在3个节点上使⽤rsa加密技术⽣成公钥和私钥;⼀路回⻋即可
#doris01
cd ~
ssh-keygen -t rsa
#doris02
cd ~
ssh-keygen -t rsa
#doris03
cd ~
ssh-keygen -t rsa
#生成公钥
#doris01
cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
ssh root@doris02 cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
ssh root@doris03 cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
# 查看认证文件,有3台节点的密钥
cat ~/.ssh/authorized_keys
#复制认证文件给其它两台
scp ~/.ssh/authorized_keys root@doris02:~/.ssh/authorized_keys
scp ~/.ssh/authorized_keys root@doris03:~/.ssh/authorized_keys


相关文章
|
9月前
|
消息中间件 OLAP Kafka
Apache Doris 实时更新技术揭秘:为何在 OLAP 领域表现卓越?
Apache Doris 为何在 OLAP 领域表现卓越?凭借其主键模型、数据延迟、查询性能、并发处理、易用性等多方面特性的表现,在分析领域展现了独特的实时更新能力。
774 9
|
8月前
|
存储 自然语言处理 分布式计算
Apache Doris 3.1 正式发布:半结构化分析全面升级,湖仓一体能力再跃新高
Apache Doris 3.1 正式发布!全面升级半结构化分析,支持 VARIANT 稀疏列与模板化 Schema,提升湖仓一体能力,增强 Iceberg/Paimon 集成,优化存储引擎与查询性能,助力高效数据分析。
972 4
Apache Doris 3.1 正式发布:半结构化分析全面升级,湖仓一体能力再跃新高
|
9月前
|
存储 分布式计算 Apache
湖仓一体:小米集团基于 Apache Doris + Apache Paimon 实现 6 倍性能飞跃
小米通过将 Apache Doris(数据库)与 Apache Paimon(数据湖)深度融合,不仅解决了数据湖分析的性能瓶颈,更实现了 “1+1>2” 的协同效应。在这些实践下,小米在湖仓数据分析场景下获得了可观的业务收益。
1438 9
湖仓一体:小米集团基于 Apache Doris + Apache Paimon 实现 6 倍性能飞跃
|
9月前
|
人工智能 运维 监控
智能运维与数据治理:基于 Apache Doris 的 Data Agent 解决方案
本文基于 Apache Doris 数据运维治理 Agent 展开讨论,如何让 AI 成为 Doris 数据运维工程师和数据治理专家的智能助手,并在某些场景下实现对人工操作的全面替代。这种变革不仅仅是技术层面的进步,更是数据运维治理思维方式的根本性转变:从“被动响应”到“主动预防”,从“人工判断”到“智能决策”,从“孤立处理”到“协同治理”。
1374 11
智能运维与数据治理:基于 Apache Doris 的 Data Agent 解决方案
|
8月前
|
SQL 人工智能 数据挖掘
Apache Doris 4.0 AI 能力揭秘(二):为企业级应用而生的 AI 函数设计与实践
Apache Doris 4.0 原生集成 LLM 函数,将大语言模型能力深度融入 SQL 引擎,实现文本处理智能化与数据分析一体化。通过十大函数,支持智能客服、内容分析、金融风控等场景,提升实时决策效率。采用资源池化管理,保障数据一致性,降低传输开销,毫秒级完成 AI 分析。结合缓存复用、并行执行与权限控制,兼顾性能、成本与安全,推动数据库向 AI 原生演进。
772 0
Apache Doris 4.0 AI 能力揭秘(二):为企业级应用而生的 AI 函数设计与实践
|
7月前
|
人工智能 数据处理 API
阿里云、Ververica、Confluent 与 LinkedIn 携手推进流式创新,共筑基于 Apache Flink Agents 的智能体 AI 未来
Apache Flink Agents 是由阿里云、Ververica、Confluent 与 LinkedIn 联合推出的开源子项目,旨在基于 Flink 构建可扩展、事件驱动的生产级 AI 智能体框架,实现数据与智能的实时融合。
1200 6
阿里云、Ververica、Confluent 与 LinkedIn 携手推进流式创新,共筑基于 Apache Flink Agents 的智能体 AI 未来
|
存储 Cloud Native 数据处理
从嵌入式状态管理到云原生架构:Apache Flink 的演进与下一代增量计算范式
本文整理自阿里云资深技术专家、Apache Flink PMC 成员梅源在 Flink Forward Asia 新加坡 2025上的分享,深入解析 Flink 状态管理系统的发展历程,从核心设计到 Flink 2.0 存算分离架构,并展望未来基于流批一体的通用增量计算方向。
568 0
从嵌入式状态管理到云原生架构:Apache Flink 的演进与下一代增量计算范式
|
9月前
|
SQL 人工智能 数据挖掘
Apache Flink:从实时数据分析到实时AI
Apache Flink 是实时数据处理领域的核心技术,历经十年发展,已从学术项目成长为实时计算的事实标准。它在现代数据架构中发挥着关键作用,支持实时数据分析、湖仓集成及实时 AI 应用。随着 Flink 2.0 的发布,其在流式湖仓、AI 驱动决策等方面展现出强大潜力,正推动企业迈向智能化、实时化的新阶段。
998 9
Apache Flink:从实时数据分析到实时AI
|
9月前
|
SQL 人工智能 API
Apache Flink 2.1.0: 面向实时 Data + AI 全面升级,开启智能流处理新纪元
Apache Flink 2.1.0 正式发布,标志着实时数据处理引擎向统一 Data + AI 平台迈进。新版本强化了实时 AI 能力,支持通过 Flink SQL 和 Table API 创建及调用 AI 模型,新增 Model DDL、ML_PREDICT 表值函数等功能,实现端到端的实时 AI 工作流。同时增强了 Flink SQL 的流处理能力,引入 Process Table Functions(PTFs)、Variant 数据类型,优化流式 Join 及状态管理,显著提升作业稳定性与资源利用率。
841 0
|
8月前
|
人工智能 运维 Java
Flink Agents:基于Apache Flink的事件驱动AI智能体框架
本文基于Apache Flink PMC成员宋辛童在Community Over Code Asia 2025的演讲,深入解析Flink Agents项目的技术背景、架构设计与应用场景。该项目聚焦事件驱动型AI智能体,结合Flink的实时处理能力,推动AI在工业场景中的工程化落地,涵盖智能运维、直播分析等典型应用,展现其在AI发展第四层次——智能体AI中的重要意义。
2709 27
Flink Agents:基于Apache Flink的事件驱动AI智能体框架

热门文章

最新文章

推荐镜像

更多