Apache Doris集群模式快速体验之标准部署(2)2

简介: Apache Doris集群模式快速体验之标准部署(2)2

FE配置

#同单节点初始化一样
vim fe/conf/fe.conf
#只需要修改priority_networks
priority_networks = [ip addr]/24

BE配置

#同单节点初始化一样
vim be/conf/be.conf 
#需要修改JAVA_HOME和priority_networks即可
JAVA_HOME=/usr/local/java/jdk1.8.0_361/
priority_networks = [ip addr]/24

初始化

#在doris01启动fe作为master节点
sh fe/bin/start_fe.sh --daemon
#分别在3个节点上启动be
sh be/bin/start_be.sh --daemon
#添加另外2个be到集群
alter system add backend "192.168.31.72:9050";
alter system add backend "192.168.31.136:9050";
#分别在另外2个节点上启动fe
./bin/start_fe.sh --helper 192.168.31.81:9010 --daemon
#添加另外2个fe到集群
ALTER SYSTEM ADD FOLLOWER "192.168.31.72:9010";
ALTER SYSTEM ADD FOLLOWER "192.168.31.136:9010";
#启动broker
sh dependencies/apache_hdfs_broker/bin/start_broker.sh --daemon
#添加broker到集群
ALTER SYSTEM ADD BROKER broker_name "192.168.31.81:8000"; 
#登录fe web查看be
http://192.168.31.81:8030/

集群测试

-- 建测试库
create database doris;
-- 建测试表
CREATE TABLE doris.doris_test ( 
  `id` varchar(1000) NULL COMMENT "来源库表键",
  `test01` BIGINT SUM DEFAULT "0" COMMENT "测试"
) ENGINE=OLAP
AGGREGATE KEY(`id`)
COMMENT "doris测试表"
DISTRIBUTED BY HASH(`id`) BUCKETS 1
PROPERTIES (
"replication_allocation" = "tag.location.default: 3",
"in_memory" = "false",
"storage_format" = "V2",
"storage_medium" = "HDD"
); 
-- 写入数据
insert into doris.doris_test values
('1',1),('1',1),('3',1);
-- 查询数据
select count(1) from doris.doris_test;
select * from doris.doris_test limit 100;
-- 查看表副本状态
ADMIN SHOW REPLICA STATUS FROM  doris.doris_test;

至此,基于 CentOS7标准部署的Apache Doris集群模式入门体验完成。

常见问题

wget下载失败

报认证相关的异常

#临时处理
wget --no-check-certificate  https....
#永久安装证书
sudo yum install -y ca-certificates

无法rz上传文件

异常:/bin/sh:UnixPty: Unable to write output -> Resource temporarily unavailable

#首先安装vsftpd
yum -y install vsftpd
#开启sftp服务
service vsftpd start
#使root可进行sftp登录使用,将下面两个文件中的root行注释
vim /etc/vsftpd/etc/vsftpd
vim /etc/vsftpd/etc/user_list
#重启sftp服务
service vsftpd restart
# 强制selinux验证改为警告,如果改为禁用会导致重启后无法登录
vim /etc/selinux/config
SELINUX=permissive
#本地shell测试
sftp -P 22  root@192.168.31.1
#输入密码进入,开始上传
#查看最终上传的目录
pwd 
#进入指定的上传目录
cd path 
#上传文件,必须是连接时当前目录下的文件
put a.txt 
#其它示例
#创建文件夹
mkdir dirname 
#下载文件
get b.txt 
#查看当前目录文件
ls 
#退出
exit 

安装常用包

#安装上传下载
yum install lrzsz
#安装tar压缩
yum install tar
#执行history时让所有用户生效-显示时间
vim /etc/profile
#底部追加
HISTTIMEFORMAT=" %F %T "
#......


相关文章
|
2天前
|
SQL 消息中间件 关系型数据库
Apache Doris Flink Connector 24.0.0 版本正式发布
该版本新增了对 Flink 1.20 的支持,并支持通过 Arrow Flight SQL 高速读取 Doris 中数据。
|
7天前
|
SQL 消息中间件 Java
兼容Trino Connector,扩展Apache Doris数据源接入能力|Lakehouse 使用手册(四)
通过兼容 Connector 插件,Apache Doris 能够支持 Trino/Presto 可对接的所有数据源,而无需改动 Doris 的内核代码。
兼容Trino Connector,扩展Apache Doris数据源接入能力|Lakehouse 使用手册(四)
|
15天前
|
存储 消息中间件 运维
招联金融基于 Apache Doris 数仓升级:单集群 QPS 超 10w,存储成本降低 70%
招联内部已有 40+ 个项目使用 Apache Doris ,拥有超百台集群节点,个别集群峰值 QPS 可达 10w+ 。通过应用 Doris ,招联金融在多场景中均有显著的收益,比如标签关联计算效率相较之前有 6 倍的提升,同等规模数据存储成本节省超 2/3,真正实现了降本提效。
招联金融基于 Apache Doris 数仓升级:单集群 QPS 超 10w,存储成本降低 70%
|
8天前
|
存储 大数据 数据挖掘
【数据新纪元】Apache Doris:重塑实时分析性能,解锁大数据处理新速度,引爆数据价值潜能!
【9月更文挑战第5天】Apache Doris以其卓越的性能、灵活的架构和高效的数据处理能力,正在重塑实时分析的性能极限,解锁大数据处理的新速度,引爆数据价值的无限潜能。在未来的发展中,我们有理由相信Apache Doris将继续引领数据处理的潮流,为企业提供更快速、更准确、更智能的数据洞察和决策支持。让我们携手并进,共同探索数据新纪元的无限可能!
50 11
|
11天前
|
Linux Apache 数据安全/隐私保护
kali向Apache上部署网页
kali向Apache上部署网页
39 5
|
15天前
|
关系型数据库 MySQL API
Apache Doris集群部署
Apache Doris集群部署
|
18天前
|
存储 消息中间件 Java
Apache Flink 实践问题之原生TM UI日志问题如何解决
Apache Flink 实践问题之原生TM UI日志问题如何解决
30 1
|
16天前
|
消息中间件 监控 数据挖掘
基于RabbitMQ与Apache Flink构建实时分析系统
【8月更文第28天】本文将介绍如何利用RabbitMQ作为数据源,结合Apache Flink进行实时数据分析。我们将构建一个简单的实时分析系统,该系统能够接收来自不同来源的数据,对数据进行实时处理,并将结果输出到另一个队列或存储系统中。
74 2
|
18天前
|
消息中间件 分布式计算 Hadoop
Apache Flink 实践问题之Flume与Hadoop之间的物理墙问题如何解决
Apache Flink 实践问题之Flume与Hadoop之间的物理墙问题如何解决
32 3
|
18天前
|
消息中间件 运维 Kafka
Apache Flink 实践问题之达到网卡的最大速度如何解决
Apache Flink 实践问题之达到网卡的最大速度如何解决
34 2

推荐镜像

更多