Apache Doris集群模式快速体验之标准部署(2)1

简介: Apache Doris集群模式快速体验之标准部署(2)1

Apache Doris集群模式快速体验之标准部署(2)

1

目标集群目标集群

  1. 1.版本:1.2.4.1
  2. 2.规模:3FE/3BE/1Broker

单节点初始化

JAVA环境

下载地址:https://www.oracle.com/cn/java/technologies/javase/javase8u211-later-archive-downloads.html

#初始化目录
mkdir /opt
cd /opt
mkdir java
cd java 
#上传下载好的arm java压缩包并解压
mkdir /usr/local/java
tar -xf jdk-8u361-linux-aarch64.tar.gz -C /usr/local/java
#配置环境变量
vim /etc/profile
export JAVA_HOME=/usr/local/java/jdk1.8.0_361 #这里一定要更改为自己的路径和文件名
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
#wq保存退出
#使环境生效
source /etc/profile
#确定java bin路径
which java
#最终确定路径:/usr/local/java/jdk1.8.0_361/bin

时钟设置

#同步时间,需要使⽤ ntpdate 命令,如果没有可以使⽤yum安装
yum install ntpdate
#使⽤ntpdate同步⽹络上的时间服务器的时间,例如 : time.windows.com、 ntp.aliyun.com
ntpdate -u ntp.aliyun.com
#可以将时间同步做成⼀个定时任务,每隔⼀段时间就同步⼀下⽹络的时间
crontab -e
* * * * * /usr/sbin/ntpdate -u ntp.aliyun.com   #输入然后wq保存退出
#查看crontab运行情况
crontab -l
tail -n 5 /var/log/cron

安装部署

安装包下载

#初始化目录
cd /opt 
mkdir doris1.2.4
#查看系统CPU型号
uname -a
#下载与系统cpu型号一致的包
wget https://apache-doris-releases.oss-accelerate.aliyuncs.com/apache-doris-1.2.4.1-bin-aarch64.tar.xz
#解压
xz -d apache-doris-1.2.4.1-bin-aarch64.tar.xz
tar -xvf apache-doris-1.2.4.1-bin-aarch64.tar
#目录结构如下
ll

FE配置

vim fe/conf/fe.conf
#只需要修改priority_networks
priority_networks = 192.168.31.81/24

BE配置

vim be/conf/be.conf 
#需要修改JAVA_HOME和priority_networks即可
JAVA_HOME=/usr/local/java/jdk1.8.0_361/
priority_networks = 192.168.31.81/24

初始化

#启动fe
sh fe/bin/start_fe.sh --daemon
#启动be
sh be/bin/start_be.sh --daemon
#添加be到集群
alter system add backend "192.168.31.81:9050";
#查看be状态
show PROC '/backends';

集群初始化

节点克隆

1.将初始化完成的fe/be进程关闭并关机

#停止fe
sh fe/bin/stop_fe.sh 
#停止be
sh be/bin/stop_be.sh 
#关机
shutdown

2.在VM的窗口-虚拟机资源库中找到上面初始化完成的节点,然后右键点击创建完整克隆即可

3.克隆完成后如图所示

集群HOST

#查看ip
ip addr
#当安装好虚拟机时,系统会自动配置IP,以这个IP去配置即可
192.168.31.81 doris01
192.168.31.72 doris02
192.168.31.136 doris03

集群免密

#分别在3个节点上使⽤rsa加密技术⽣成公钥和私钥;⼀路回⻋即可
#doris01
cd ~
ssh-keygen -t rsa
#doris02
cd ~
ssh-keygen -t rsa
#doris03
cd ~
ssh-keygen -t rsa
#生成公钥
#doris01
cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
ssh root@doris02 cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
ssh root@doris03 cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
# 查看认证文件,有3台节点的密钥
cat ~/.ssh/authorized_keys
#复制认证文件给其它两台
scp ~/.ssh/authorized_keys root@doris02:~/.ssh/authorized_keys
scp ~/.ssh/authorized_keys root@doris03:~/.ssh/authorized_keys


相关文章
|
10天前
|
存储 SQL BI
毫秒级查询性能优化实践!基于阿里云数据库 SelectDB 版内核:Apache Doris 在极越汽车数字化运营和营销方向的解决方案
毫秒级查询性能优化实践!基于阿里云数据库 SelectDB 版内核:Apache Doris 在极越汽车数字化运营和营销方向的解决方案
毫秒级查询性能优化实践!基于阿里云数据库 SelectDB 版内核:Apache Doris 在极越汽车数字化运营和营销方向的解决方案
|
8天前
|
Apache 开发者
Apache Seata 如何解决 TCC 模式的幂等、悬挂和空回滚问题
【6月更文挑战第8天】Apache Seata 是一款分布式事务框架,解决TCC模式下的幂等、悬挂和空回滚问题。通过记录事务状态处理幂等,设置超时机制避免悬挂,明确标记Try操作成功来处理空回滚。Seata 提供丰富配置和管理功能,确保分布式事务的可靠性和效率,支持复杂事务处理场景,为企业业务发展提供支持。
29 7
|
10天前
|
弹性计算 JSON Cloud Native
Apache Doris 2.0.11 版本正式发布
Apache Doris 2.0.11 版本已于 2024 年 6 月 5 日正式与大家见面,该版本提交了 123 个改进项以及问题修复,进一步提升了系统的性能及稳定性,欢迎大家下载体验。
|
16天前
|
存储 运维 5G
基于阿里云数据库 SelectDB 内核 Apache Doris 的实时/离线一体化架构,赋能中国联通 5G 全连接工厂解决方案
数据是 5G 全连接工厂的核心要素,为支持全方位的数据收集、存储、分析等工作的高效进行,联通 5G 全连接工厂从典型的 Lambda 架构演进为 All in [Apache Doris](https://c.d4t.cn/vwDf8R) 的实时/离线一体化架构,并凭借 Doris 联邦查询能力打造统一查询网关,数据处理及查询链路大幅简化,为联通 5G 全连接工厂带来数据时效性、查询响应、存储成本、开发效率全方位的提升。
基于阿里云数据库 SelectDB 内核 Apache Doris 的实时/离线一体化架构,赋能中国联通 5G 全连接工厂解决方案
|
19天前
|
OLAP 数据处理 Apache
众安保险 CDP 平台:借助阿里云数据库 SelectDB 版内核 Apache Doris 打破数据孤岛,人群圈选提速4倍
众安保险在CDP(Customer Data Platform,客户数据平台)建设中,通过引入阿里云数据库SelectDB版内核Apache Doris,成功打破了数据孤岛,并显著提升了人群圈选的速度
184 1
|
20天前
|
运维 Cloud Native Apache
云计算新宠:探索Apache Doris的云原生策略
云计算新宠:探索Apache Doris的云原生策略
|
3天前
|
监控 大数据 Java
使用Apache Flink进行大数据实时流处理
Apache Flink是开源流处理框架,擅长低延迟、高吞吐量实时数据流处理。本文深入解析Flink的核心概念、架构(包括客户端、作业管理器、任务管理器和数据源/接收器)和事件时间、窗口、状态管理等特性。通过实战代码展示Flink在词频统计中的应用,讨论其实战挑战与优化。Flink作为大数据处理的关键组件,将持续影响实时处理领域。
38 5
|
24天前
|
消息中间件 Java Kafka
实时计算 Flink版操作报错之Apache Flink中的SplitFetcher线程在读取数据时遇到了未预期的情况,该怎么解决
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
|
4天前
|
数据采集 关系型数据库 MySQL
使用Apache Flink实现MySQL数据读取和写入的完整指南
使用Apache Flink实现MySQL数据读取和写入的完整指南
使用Apache Flink实现MySQL数据读取和写入的完整指南
|
8天前
|
消息中间件 Kafka 数据处理
Apache Flink:流式数据处理的强大引擎
【6月更文挑战第8天】Apache Flink是开源的流处理框架,专注于高效、低延迟的无界和有界数据流处理。它提供统一编程模型,支持实时与批量数据。核心概念包括DataStreams、DataSets、时间语义和窗口操作。使用Flink涉及环境设置、数据源配置(如Kafka)、数据转换(如map、filter)、窗口聚合及数据输出。通过丰富API和灵活时间语义,Flink适于构建复杂流处理应用,在实时数据处理领域具有广阔前景。

推荐镜像

更多