Apache Doris集群模式快速体验之标准部署(2)2

简介: Apache Doris集群模式快速体验之标准部署(2)2

FE配置

#同单节点初始化一样
vim fe/conf/fe.conf
#只需要修改priority_networks
priority_networks = [ip addr]/24

BE配置

#同单节点初始化一样
vim be/conf/be.conf 
#需要修改JAVA_HOME和priority_networks即可
JAVA_HOME=/usr/local/java/jdk1.8.0_361/
priority_networks = [ip addr]/24

初始化

#在doris01启动fe作为master节点
sh fe/bin/start_fe.sh --daemon
#分别在3个节点上启动be
sh be/bin/start_be.sh --daemon
#添加另外2个be到集群
alter system add backend "192.168.31.72:9050";
alter system add backend "192.168.31.136:9050";
#分别在另外2个节点上启动fe
./bin/start_fe.sh --helper 192.168.31.81:9010 --daemon
#添加另外2个fe到集群
ALTER SYSTEM ADD FOLLOWER "192.168.31.72:9010";
ALTER SYSTEM ADD FOLLOWER "192.168.31.136:9010";
#启动broker
sh dependencies/apache_hdfs_broker/bin/start_broker.sh --daemon
#添加broker到集群
ALTER SYSTEM ADD BROKER broker_name "192.168.31.81:8000"; 
#登录fe web查看be
http://192.168.31.81:8030/

集群测试

-- 建测试库
create database doris;
-- 建测试表
CREATE TABLE doris.doris_test ( 
  `id` varchar(1000) NULL COMMENT "来源库表键",
  `test01` BIGINT SUM DEFAULT "0" COMMENT "测试"
) ENGINE=OLAP
AGGREGATE KEY(`id`)
COMMENT "doris测试表"
DISTRIBUTED BY HASH(`id`) BUCKETS 1
PROPERTIES (
"replication_allocation" = "tag.location.default: 3",
"in_memory" = "false",
"storage_format" = "V2",
"storage_medium" = "HDD"
); 
-- 写入数据
insert into doris.doris_test values
('1',1),('1',1),('3',1);
-- 查询数据
select count(1) from doris.doris_test;
select * from doris.doris_test limit 100;
-- 查看表副本状态
ADMIN SHOW REPLICA STATUS FROM  doris.doris_test;

至此,基于 CentOS7标准部署的Apache Doris集群模式入门体验完成。

常见问题

wget下载失败

报认证相关的异常

#临时处理
wget --no-check-certificate  https....
#永久安装证书
sudo yum install -y ca-certificates

无法rz上传文件

异常:/bin/sh:UnixPty: Unable to write output -> Resource temporarily unavailable

#首先安装vsftpd
yum -y install vsftpd
#开启sftp服务
service vsftpd start
#使root可进行sftp登录使用,将下面两个文件中的root行注释
vim /etc/vsftpd/etc/vsftpd
vim /etc/vsftpd/etc/user_list
#重启sftp服务
service vsftpd restart
# 强制selinux验证改为警告,如果改为禁用会导致重启后无法登录
vim /etc/selinux/config
SELINUX=permissive
#本地shell测试
sftp -P 22  root@192.168.31.1
#输入密码进入,开始上传
#查看最终上传的目录
pwd 
#进入指定的上传目录
cd path 
#上传文件,必须是连接时当前目录下的文件
put a.txt 
#其它示例
#创建文件夹
mkdir dirname 
#下载文件
get b.txt 
#查看当前目录文件
ls 
#退出
exit 

安装常用包

#安装上传下载
yum install lrzsz
#安装tar压缩
yum install tar
#执行history时让所有用户生效-显示时间
vim /etc/profile
#底部追加
HISTTIMEFORMAT=" %F %T "
#......


相关文章
|
2月前
|
消息中间件 OLAP Kafka
Apache Doris 实时更新技术揭秘:为何在 OLAP 领域表现卓越?
Apache Doris 为何在 OLAP 领域表现卓越?凭借其主键模型、数据延迟、查询性能、并发处理、易用性等多方面特性的表现,在分析领域展现了独特的实时更新能力。
242 9
|
1月前
|
存储 自然语言处理 分布式计算
Apache Doris 3.1 正式发布:半结构化分析全面升级,湖仓一体能力再跃新高
Apache Doris 3.1 正式发布!全面升级半结构化分析,支持 VARIANT 稀疏列与模板化 Schema,提升湖仓一体能力,增强 Iceberg/Paimon 集成,优化存储引擎与查询性能,助力高效数据分析。
288 4
Apache Doris 3.1 正式发布:半结构化分析全面升级,湖仓一体能力再跃新高
|
29天前
|
SQL 人工智能 数据挖掘
Apache Doris 4.0 AI 能力揭秘(二):为企业级应用而生的 AI 函数设计与实践
Apache Doris 4.0 原生集成 LLM 函数,将大语言模型能力深度融入 SQL 引擎,实现文本处理智能化与数据分析一体化。通过十大函数,支持智能客服、内容分析、金融风控等场景,提升实时决策效率。采用资源池化管理,保障数据一致性,降低传输开销,毫秒级完成 AI 分析。结合缓存复用、并行执行与权限控制,兼顾性能、成本与安全,推动数据库向 AI 原生演进。
203 0
Apache Doris 4.0 AI 能力揭秘(二):为企业级应用而生的 AI 函数设计与实践
|
2月前
|
存储 分布式计算 Apache
湖仓一体:小米集团基于 Apache Doris + Apache Paimon 实现 6 倍性能飞跃
小米通过将 Apache Doris(数据库)与 Apache Paimon(数据湖)深度融合,不仅解决了数据湖分析的性能瓶颈,更实现了 “1+1>2” 的协同效应。在这些实践下,小米在湖仓数据分析场景下获得了可观的业务收益。
582 9
湖仓一体:小米集团基于 Apache Doris + Apache Paimon 实现 6 倍性能飞跃
|
2月前
|
人工智能 运维 监控
智能运维与数据治理:基于 Apache Doris 的 Data Agent 解决方案
本文基于 Apache Doris 数据运维治理 Agent 展开讨论,如何让 AI 成为 Doris 数据运维工程师和数据治理专家的智能助手,并在某些场景下实现对人工操作的全面替代。这种变革不仅仅是技术层面的进步,更是数据运维治理思维方式的根本性转变:从“被动响应”到“主动预防”,从“人工判断”到“智能决策”,从“孤立处理”到“协同治理”。
431 11
智能运维与数据治理:基于 Apache Doris 的 Data Agent 解决方案
|
11天前
|
人工智能 数据处理 API
阿里云、Ververica、Confluent 与 LinkedIn 携手推进流式创新,共筑基于 Apache Flink Agents 的智能体 AI 未来
Apache Flink Agents 是由阿里云、Ververica、Confluent 与 LinkedIn 联合推出的开源子项目,旨在基于 Flink 构建可扩展、事件驱动的生产级 AI 智能体框架,实现数据与智能的实时融合。
145 6
阿里云、Ververica、Confluent 与 LinkedIn 携手推进流式创新,共筑基于 Apache Flink Agents 的智能体 AI 未来
|
存储 Cloud Native 数据处理
从嵌入式状态管理到云原生架构:Apache Flink 的演进与下一代增量计算范式
本文整理自阿里云资深技术专家、Apache Flink PMC 成员梅源在 Flink Forward Asia 新加坡 2025上的分享,深入解析 Flink 状态管理系统的发展历程,从核心设计到 Flink 2.0 存算分离架构,并展望未来基于流批一体的通用增量计算方向。
195 0
从嵌入式状态管理到云原生架构:Apache Flink 的演进与下一代增量计算范式
|
2月前
|
SQL 人工智能 数据挖掘
Apache Flink:从实时数据分析到实时AI
Apache Flink 是实时数据处理领域的核心技术,历经十年发展,已从学术项目成长为实时计算的事实标准。它在现代数据架构中发挥着关键作用,支持实时数据分析、湖仓集成及实时 AI 应用。随着 Flink 2.0 的发布,其在流式湖仓、AI 驱动决策等方面展现出强大潜力,正推动企业迈向智能化、实时化的新阶段。
338 9
Apache Flink:从实时数据分析到实时AI
|
2月前
|
SQL 人工智能 API
Apache Flink 2.1.0: 面向实时 Data + AI 全面升级,开启智能流处理新纪元
Apache Flink 2.1.0 正式发布,标志着实时数据处理引擎向统一 Data + AI 平台迈进。新版本强化了实时 AI 能力,支持通过 Flink SQL 和 Table API 创建及调用 AI 模型,新增 Model DDL、ML_PREDICT 表值函数等功能,实现端到端的实时 AI 工作流。同时增强了 Flink SQL 的流处理能力,引入 Process Table Functions(PTFs)、Variant 数据类型,优化流式 Join 及状态管理,显著提升作业稳定性与资源利用率。
250 0
|
1月前
|
人工智能 运维 Java
Flink Agents:基于Apache Flink的事件驱动AI智能体框架
本文基于Apache Flink PMC成员宋辛童在Community Over Code Asia 2025的演讲,深入解析Flink Agents项目的技术背景、架构设计与应用场景。该项目聚焦事件驱动型AI智能体,结合Flink的实时处理能力,推动AI在工业场景中的工程化落地,涵盖智能运维、直播分析等典型应用,展现其在AI发展第四层次——智能体AI中的重要意义。
739 27
Flink Agents:基于Apache Flink的事件驱动AI智能体框架

推荐镜像

更多