Apache Doris集群部署

1.Java环境
tar xf jdk-8u201-linux-x64.tar.gz -C /usr/local/
vim /etc/profile.d/java.sh
export JAVA_HOME=/usr/local/jdk1.8.0_201/
export PATH=$PATH:$JAVA_HOME/bin
. /etc/profile.d/java.sh
java -version  #确保命令正常执行
2.设置进程可以拥有的VMA的数量
vim /etc/sysctl.d/99-sysctl.conf 
vm.max_map_count=262144
3.设置系统最大打开文件句柄数
vi /etc/security/limits.conf 
* soft nofile 65536
* hard nofile 65536
4.时间同步
chronyd -q 'server ntp1.aliyun.com iburst'
5.禁用swap
swapoff -a

1.Frontend:前端节点,负责管理元数据、管理客户端的连接、进行查询规划和调度等工作
FE磁盘注意事项：
    FE的磁盘空间主要用于存储元数据,包括日志和image。通常从几百MB到几个GB不等。
FE部署注意事项：
    一个节点只能部署一个FE
FE内部角色
1.FE角色分为Follower和Observer,Follower可以选举Leader,Observe只能同比Leader数据不能参加选举
2.FE节点数据至少为1(1个Follower).当部署1个Follower和1个Observer时,可以实现读高可用。当部署3个Follower时,可以实现读写高可用(HA)。
3.Follower的数量必须为奇数,Observer数量随意。
2.Backend:后端节点,负责数据存储、计算执行、副本管理等
BE:磁盘注意事项：
    BE的磁盘空间主要用于存放用户数据,总磁盘空间按用户总数据量*3(3副本)计算,然后再预留额外40%的空间用作后台compaction以及一些中间数据的存放。
FE部署注意事项：
    一个节点可以部署多个BE,但只建议部署一个实例
    
3.Broker:用于访问外部数据源(如hdfs)的进程。通常,在每台机器上部署一个broker实例即可。

tar xf apache-doris-1.2.6-bin-x64.tar.xz -C /usr/local/
cd /usr/local/
ln -sv apache-doris-1.2.6-bin-x64/ doris
cp doris/fe/conf/fe.conf doris/fe/conf/fe.conf-bak
vim doris/fe/conf/fe.conf
mysql_service_nio_enabled = true
priority_networks = 192.168.1.0/24  #新增该字段，特别是多网卡服务器上，该参数必须添加
cp doris/be/conf/be.conf  doris/be/conf/be.conf-bak
vim  doris/be/conf/be.conf
brpc_port = 8060
storage_root_path = /mnt/doris/storage  #设置存储路径
mkdir -p /mnt/doris/storage   #与BE存储路径保持一致

第一台机器上执行(192.168.1.136)
#启动服务
/usr/local/doris/fe/bin/start_fe.sh --daemon
通过jps   netstat命令和日志确认进程是否正常启动
登录MySQL查看状态
yum install mariadb -y #安装MySQL 客户端命令
mysql -uroot -P 9030 -h 127.0.0.1   #直接回车，默认没有密码
SHOW PROC '/frontends' \G;

#添加BE节点
ALTER SYSTEM ADD BACKEND "192.168.1.136:9050";
ALTER SYSTEM ADD BACKEND "192.168.1.137:9050";
ALTER SYSTEM ADD BACKEND "192.168.1.138:9050";
SHOW BACKENDS;
#添加Broker节点
ALTER SYSTEM ADD BROKER my_broker "192.168.1.136:8000";
ALTER SYSTEM ADD BROKER my_broker "192.168.1.137:8000";
ALTER SYSTEM ADD BROKER my_broker "192.168.1.138:8000";
SHOW BROKER;