Apache Doris集群模式快速体验之标准部署(2)2

简介: Apache Doris集群模式快速体验之标准部署(2)2

FE配置

#同单节点初始化一样
vim fe/conf/fe.conf
#只需要修改priority_networks
priority_networks = [ip addr]/24

BE配置

#同单节点初始化一样
vim be/conf/be.conf 
#需要修改JAVA_HOME和priority_networks即可
JAVA_HOME=/usr/local/java/jdk1.8.0_361/
priority_networks = [ip addr]/24

初始化

#在doris01启动fe作为master节点
sh fe/bin/start_fe.sh --daemon
#分别在3个节点上启动be
sh be/bin/start_be.sh --daemon
#添加另外2个be到集群
alter system add backend "192.168.31.72:9050";
alter system add backend "192.168.31.136:9050";
#分别在另外2个节点上启动fe
./bin/start_fe.sh --helper 192.168.31.81:9010 --daemon
#添加另外2个fe到集群
ALTER SYSTEM ADD FOLLOWER "192.168.31.72:9010";
ALTER SYSTEM ADD FOLLOWER "192.168.31.136:9010";
#启动broker
sh dependencies/apache_hdfs_broker/bin/start_broker.sh --daemon
#添加broker到集群
ALTER SYSTEM ADD BROKER broker_name "192.168.31.81:8000"; 
#登录fe web查看be
http://192.168.31.81:8030/

集群测试

-- 建测试库
create database doris;
-- 建测试表
CREATE TABLE doris.doris_test ( 
  `id` varchar(1000) NULL COMMENT "来源库表键",
  `test01` BIGINT SUM DEFAULT "0" COMMENT "测试"
) ENGINE=OLAP
AGGREGATE KEY(`id`)
COMMENT "doris测试表"
DISTRIBUTED BY HASH(`id`) BUCKETS 1
PROPERTIES (
"replication_allocation" = "tag.location.default: 3",
"in_memory" = "false",
"storage_format" = "V2",
"storage_medium" = "HDD"
); 
-- 写入数据
insert into doris.doris_test values
('1',1),('1',1),('3',1);
-- 查询数据
select count(1) from doris.doris_test;
select * from doris.doris_test limit 100;
-- 查看表副本状态
ADMIN SHOW REPLICA STATUS FROM  doris.doris_test;

至此,基于 CentOS7标准部署的Apache Doris集群模式入门体验完成。

常见问题

wget下载失败

报认证相关的异常

#临时处理
wget --no-check-certificate  https....
#永久安装证书
sudo yum install -y ca-certificates

无法rz上传文件

异常:/bin/sh:UnixPty: Unable to write output -> Resource temporarily unavailable

#首先安装vsftpd
yum -y install vsftpd
#开启sftp服务
service vsftpd start
#使root可进行sftp登录使用,将下面两个文件中的root行注释
vim /etc/vsftpd/etc/vsftpd
vim /etc/vsftpd/etc/user_list
#重启sftp服务
service vsftpd restart
# 强制selinux验证改为警告,如果改为禁用会导致重启后无法登录
vim /etc/selinux/config
SELINUX=permissive
#本地shell测试
sftp -P 22  root@192.168.31.1
#输入密码进入,开始上传
#查看最终上传的目录
pwd 
#进入指定的上传目录
cd path 
#上传文件,必须是连接时当前目录下的文件
put a.txt 
#其它示例
#创建文件夹
mkdir dirname 
#下载文件
get b.txt 
#查看当前目录文件
ls 
#退出
exit 

安装常用包

#安装上传下载
yum install lrzsz
#安装tar压缩
yum install tar
#执行history时让所有用户生效-显示时间
vim /etc/profile
#底部追加
HISTTIMEFORMAT=" %F %T "
#......


相关文章
|
12天前
|
存储 SQL Apache
Apache Doris 创始人:何为“现代化”的数据仓库?
3.0 版本是 Apache Doris 研发路程中的重要里程碑,他将这一进展总结为“实时之路”、“统一之路”和“弹性之路”,详细介绍了所对应的核心特性的设计思考与应用价值,揭晓了 2025 年社区发展蓝图
Apache Doris 创始人:何为“现代化”的数据仓库?
|
14天前
|
SQL 存储 数据处理
别让你的CPU打盹儿:Apache Doris并行执行原理大揭秘!
别让你的CPU打盹儿:Apache Doris并行执行原理大揭秘!
58 1
别让你的CPU打盹儿:Apache Doris并行执行原理大揭秘!
|
4天前
|
存储 SQL 监控
计算效率提升 10 倍,存储成本降低 60%,灵犀科技基于 Apache Doris 建设统一数据服务平台
灵犀科技早期基于 Hadoop 构建大数据平台,在战略调整和需求的持续扩增下,数据处理效率、查询性能、资源成本问题随之出现。为此,引入 [Apache Doris](https://doris.apache.org/) 替换了复杂技术栈,升级为集存储、加工、服务为一体的统一架构,实现存储成本下降 60%,计算效率提升超 10 倍的显著成效。
计算效率提升 10 倍,存储成本降低 60%,灵犀科技基于 Apache Doris 建设统一数据服务平台
|
2月前
|
存储 消息中间件 分布式计算
Cisco WebEx 数据平台:统一 Trino、Pinot、Iceberg 及 Kyuubi,探索 Apache Doris 在 Cisco 的改造实践
Cisco WebEx 早期数据平台采用了多系统架构(包括 Trino、Pinot、Iceberg 、 Kyuubi 等),面临架构复杂、数据冗余存储、运维困难、资源利用率低、数据时效性差等问题。因此,引入 Apache Doris 替换了 Trino、Pinot 、 Iceberg 及 Kyuubi 技术栈,依赖于 Doris 的实时数据湖能力及高性能 OLAP 分析能力,统一数据湖仓及查询分析引擎,显著提升了查询性能及系统稳定性,同时实现资源成本降低 30%。
Cisco WebEx 数据平台:统一 Trino、Pinot、Iceberg 及 Kyuubi,探索 Apache Doris 在 Cisco 的改造实践
|
29天前
|
SQL 存储 Apache
Apache Doris 3.0.3 版本正式发布
亲爱的社区小伙伴们,Apache Doris 3.0.3 版本已于 2024 年 12 月 02 日正式发布。该版本进一步提升了系统的性能及稳定性,欢迎大家下载体验。
|
5月前
|
存储 消息中间件 Java
Apache Flink 实践问题之原生TM UI日志问题如何解决
Apache Flink 实践问题之原生TM UI日志问题如何解决
53 1
|
25天前
|
存储 人工智能 大数据
The Past, Present and Future of Apache Flink
本文整理自阿里云开源大数据负责人王峰(莫问)在 Flink Forward Asia 2024 上海站主论坛开场的分享,今年正值 Flink 开源项目诞生的第 10 周年,借此时机,王峰回顾了 Flink 在过去 10 年的发展历程以及 Flink社区当前最新的技术成果,最后展望下一个十年 Flink 路向何方。
313 33
The Past, Present and Future of Apache Flink
|
3月前
|
SQL Java API
Apache Flink 2.0-preview released
Apache Flink 社区正积极筹备 Flink 2.0 的发布,这是自 Flink 1.0 发布以来的首个重大更新。Flink 2.0 将引入多项激动人心的功能和改进,包括存算分离状态管理、物化表、批作业自适应执行等,同时也包含了一些不兼容的变更。目前提供的预览版旨在让用户提前尝试新功能并收集反馈,但不建议在生产环境中使用。
900 13
Apache Flink 2.0-preview released
|
3月前
|
存储 缓存 算法
分布式锁服务深度解析:以Apache Flink的Checkpointing机制为例
【10月更文挑战第7天】在分布式系统中,多个进程或节点可能需要同时访问和操作共享资源。为了确保数据的一致性和系统的稳定性,我们需要一种机制来协调这些进程或节点的访问,避免并发冲突和竞态条件。分布式锁服务正是为此而生的一种解决方案。它通过在网络环境中实现锁机制,确保同一时间只有一个进程或节点能够访问和操作共享资源。
114 3
|
4月前
|
SQL 消息中间件 关系型数据库
Apache Doris Flink Connector 24.0.0 版本正式发布
该版本新增了对 Flink 1.20 的支持,并支持通过 Arrow Flight SQL 高速读取 Doris 中数据。

推荐镜像

更多