2.3 安装要求
2.3.1 软硬件需求
- Linux 操作系统要求
linux 系统 版本
Centos 7.1 及以上
Ubuntu 16.04 及以上
2)软件需求
软件 版本
Java 1.8 及以上
GCC 4.8.2 及以上
3)开发测试环境
模块 CPU 内存 磁盘 网络 实例数量
Frontend 8 核+ 8GB SSD 或 SATA ，10GB+ * 千兆网卡 1
Backend 8 核+ 16GB SSD 或 SATA ，50GB+ * 千兆网卡 1-3*
4) 生产环境
模块 CPU 内存 磁盘 网络 实例数量
Frontend 16 核+ 64GB SSD 或 SATA，100GB+ * 万兆网卡 1-5*
Backend 16 核+ 64GB SSD 或 SATA，100GB+ * 万兆网卡 10- 100*
5)注意事项
(1) FE 的磁盘空间主要用于存储元数据，包括日志和 image。通常从几百 MB 到几个 GB 不等。
(2) BE 的磁盘空间主要用于存放用户数据， 总磁盘空间按用户总数据量* 3 (3 副本) 计算， 然后再预留额外 40%的空间用作后台 compaction 以及一些中间数据的存放。
(3) 一台机器上可以部署多个 BE 实例， 但是只能部署一个 FE。如果需要 3 副本数 据， 那么至少需要 3 台机器各部署一个 BE 实例(而不是 1 台机器部署 3 个 BE 实例) 。多 个 FE 所在服务器的时钟必须保持一致(允许最多5 秒的时钟偏差)
(4) 测试环境也可以仅适用一个 BE 进行测试。实际生产环境，BE 实例数量直接决定 了整体查询延迟。
(5) 所有部署节点关闭 Swap。
(6) FE 节点数据至少为 1 (1 个 Follower) 。当部署 1 个 Follower 和 1 个 Observer 时， 可以实现读高可用。当部署 3 个 Follower 时，可以实现读写高可用(HA)。
(7) Follower 的数量必须为奇数，Observer 数量随意。
(8) 根据以往经验，当集群可用性要求很高时(比如提供在线业务)， 可以部署 3 个 Follower 和 1-3 个 Observer。如果是离线业务， 建议部署 1 个 Follower 和 1-3 个 Observer。
(9) Broker 是用于访问外部数据源(如 HDFS) 的进程。通常，在每台机器上部署一 个 broker 实例即可。
2.3.2 默认端口
当部署多个 FE 实例时，要保证 FE 的 http_port 配置相同。
部署前请确保各个端口在应有方向上的访问权限。
2.4 集群部署
| 主机 1 | 主机 2 | 主机 3 |
| FE(LEADER) | FE(FOLLOWER) | FE(OBSERVER) |
| BE | BE | BE |
| BROKER | BROKER | BROKER |
生产环境建议 FE 和 BE 分开。
2.4.1 创建目录并拷贝编译后的文件
1)创建目录并拷贝编译后的文件
mkdir /opt/module/apache-doris-0.15.0 cp -r /opt/software/apache-doris-0.15.0-incubating-src/output /opt/module/apache-doris-0.15.0
2)修改可打开文件数 (每个节点)
sudo vim /etc/security/limits.conf * soft nofile 65535 * hard nofile 65535 * soft nproc 65535 * hard nproc 65535
重启永久生效， 也可以用 ulimit -n 65535 临时生效。
2.4.2 部署 FE 节点
1)创建 fe 元数据存储的目录
mkdir /opt/module/apache-doris-0.15.0/doris-meta
2)修改 fe 的配置文件
vim /opt/module/apache-doris-0.15.0/fe/conf/fe.conf #配置文件中指定元数据路径： meta_dir = /opt/module/apache-doris-0.15.0/doris-meta #修改绑定 ip (每台机器修改成自己的 ip) priority_networks = 192.168.8.101/24
注意：
⚫ 生产环境强烈建议单独指定目录不要放在 Doris 安装目录下，最好是单独的磁盘(如果
有 SSD 最好)。
⚫ 如果机器有多个 ip, 比如内网外网, 虚拟机 docker 等, 需要进行 ip 绑定， 才能正确识 别。
⚫ JAVA_OPTS 默认 java 最大堆内存为 4GB，建议生产环境调整至 8G 以上。
3)启动 hadoop1 的 FE
/opt/module/apache-doris-0.15.0/fe/bin/start_fe.sh --daemon
2.4.3 配置 BE 节点
1)分发 BE
scp -r /opt/module/apache-doris-0.15.0/be hadoop2:/opt/module scp -r /opt/module/apache-doris-0.15.0/be hadoop3:/opt/module
2)创建 BE 数据存放目录 (每个节点)
mkdir /opt/module/apache-doris-0.15.0/doris-storage1 mkdir /opt/module/apache-doris-0.15.0/doris-storage2
2)创建 BE 数据存放目录 (每个节点)
3)修改 BE 的配置文件 (每个节点)
vim /opt/module/apache-doris-0.15.0/be/conf/be.conf #配置文件中指定数据存放路径： storage_root_path = /opt/module/apache-doris-0.15.0/doris- storage1;/opt/module/apache-doris-0.15.0/doris-storage2 #修改绑定 ip (每台机器修改成自己的 ip) priority_networks = 192.168.8.101/24
注意：
⚫ storage_root_path 默认在 be/storage 下，需要手动创建该目录。多个路径之间使用英文状
态的分号;分隔(最后一个目录后不要加) 。
⚫ 可以通过路径区别存储目录的介质， HDD 或 SSD。可以添加容量限制在每个路径的末
尾，通过英文状态逗号，隔开，如：
storage_root_path=/home/disk1/doris.HDD,50;/home/disk2/doris.SSD, 10;/home/disk2/doris
说明：
/home/disk1/doris.HDD,50，表示存储限制为 50GB ，HDD;
/home/disk2/doris.SSD,10，存储限制为 10GB ，SSD；
/home/disk2/doris，存储限制为磁盘最大容量， 默认为 HDD
⚫ 如果机器有多个 IP, 比如内网外网, 虚拟机 docker 等, 需要进行 IP 绑定，才能正确识 别。
2.4.4 在 FE 中添加所有 BE 节点
BE 节点需要先在 FE 中添加，才可加入集群。可以使用 mysql-client 连接到 FE。 1)安装 MySQL Client
(1) 创建目录
mkdir /opt/software/mysql-client/
(2) 上传相关以下三个 rpm 包到/opt/software/mysql-client/
➢ mysql-community-client-5.7.28- 1.el7.x86_64.rpm
➢ mysql-community-common-5.7.28- 1.el7.x86_64.rpm
➢ mysql-community-libs-5.7.28- 1.el7.x86_64.rpm
(3) 检查当前系统是否安装过 MySQL
sudo rpm -qa |grep mariadb #如果存在，先卸载 sudo rpm -e --nodeps mariadb mariadb-libs mariadb-server
(4) 安装
rpm -ivh /opt/software/mysql-client/*
2)使用 MySQL Client 连接 FE
mysql -h hadoop1 -P 9030 -uroot
默认 root 无密码， 通过以下命令修改 root 密码。
SET PASSWORD FOR 'root' = PASSWORD('000000');
3)添加 BE
ALTER SYSTEM ADD BACKEND "hadoop1:9050"; ALTER SYSTEM ADD BACKEND "hadoop2:9050"; ALTER SYSTEM ADD BACKEND "hadoop3:9050";
4)查看 BE 状态
SHOW PROC '/backends';
2.4.5 启动 BE
1)启动 BE (每个节点)
/opt/module/apache-doris-0.15.0/be/bin/start_be.sh --daemon
2)查看 BE 状态
mysql -h hadoop1 -P 9030 -uroot -p SHOW PROC '/backends';
Alive 为 true 表示该 BE 节点存活。
2.4.6 部署 FS_Broker (可选)
Broker 以插件的形式， 独立于 Doris 部署。如果需要从第三方存储系统导入数据， 需要 部署相应的 Broker，默认提供了读取 HDFS、百度云 BOS 及 Amazon S3 的 fs_broker 。 fs_broker 是无状态的，建议每一个 FE 和 BE 节点都部署一个 Broker。
1)编译 FS_BROKER 并拷贝文件
(1) 进入源码目录下的 fs_brokers 目录， 使用 sh build.sh 进行编译
(2) 拷贝源码 fs_broker 的 output 目录下的相应 Broker 目录到需要部署的所有节点 上，改名为: apache_hdfs_broker。建议和 BE 或者 FE 目录保持同级。
方法同 2.2。
2)启动 Broker
/opt/module/apache-doris- 0.15.0/apache_hdfs_broker/bin/start_broker.sh --daemon
3)添加 Broker
要让 Doris 的 FE 和 BE 知道 Broker 在哪些节点上，通过 sql 命令添加 Broker 节 点列表。
(1) 使用 mysql-client 连接启动的 FE，执行以下命令：
mysql -h hadoop1 -P 9030 -uroot -p ALTER SYSTEM ADD BROKER broker_name "hadoop1:8000","hadoop2:8000","hadoop3:8000";
其中 broker_host 为 Broker 所在节点 ip ；broker_ipc_port 在 Broker 配置文件中的
conf/apache_hdfs_broker.conf。
4)查看 Broker 状态
使用 mysql-client 连接任一已启动的 FE，执行以下命令查看 Broker 状态：
SHOW PROC "/brokers";
注： 在生产环境中， 所有实例都应使用守护进程启动， 以保证进程退出后， 会被自动拉 起， 如 Supervisor (opens new window) 。如需使用守护进程启动， 在 0.9.0 及之前版本中，
需要修改各个 start_xx.sh 脚本，去掉最后的 & 符号。从 0.10.0 版本开始，直接调用 sh start_xx.sh 启动即可。
