Apache Doris 集群升级

简介: Apache Doris 可以通过滚动升级的方式,平滑进行升级。升级顺序是先升级BE,再升级FE,不能颠倒升级顺序。Doris保证BE向后兼容FE。

Apache Doris 可以通过滚动升级的方式,平滑进行升级。升级顺序是先升级BE,再升级FE,不能颠倒升级顺序。Doris保证BE向后兼容FE。


升级的过程可以分为:


  1. 测试 Doris BE 升级的正确性,


  1. 测试 Doris FE 元数据兼容,


  1. 滚动升级


  1. 观察升级后的集群服务


注:

1.为了保证在集群升级过程中,Doris服务是可用的,建议Doris集群 在高可用部署的情况下进行。即数据 3 副本,FE 高可用情况下。

2.Doris 不支持跨两位版本升级,比如你现在使用的是0.12.x版本,不能直接升级到0.14.x版本,必须首先升级0.13.x版本,Doris 可以跨三位版本进行生,比如你可以从0.13.15版本直接升级到0.14.13版本,这点非常重要

3.Doris FE 元数据目前不支持回退在升级之前一定要做好元数据备份和元数据兼容测试

1.升级准备


准备好要升级的 Doris 安装包,


  1. 准备一个测试FE节点,你可以临时使用某一个BE节点作为测试FE节点,将FE安装包复制到这个节点


  1. 将 BE 和 FE 新版本的二进制文件分发到集群各自节点指定目录下(目录自己指定,不是doris安装目录即可,方便后面升级文件拷贝)。


  1. 小版本升级,BE 只需升级 palo_be;FE 只需升级 palo-fe.jar,建议整体替换fe安装目录下的lib目录。


  1. 大版本升级,则可能需要升级其他文件(包括但不限于 bin/ lib/ 等);如果不确定是否需要替换其他文件,全部替换即可,备份你的 FE 和 BE conf配置文件。


  1. 在正式升级之前为了保证升级失败能回滚,强烈建议备份 Doris FE 的元数据,一旦升级失败因为Doris 元数据不支持兼容低版本,没办法回退


2.测试 Doris BE 升级正确性


  1. 任意选择一个 BE 节点,j将拷贝过来的BE安装包里lib目录下最新的 palo_be 二进制文件,复制到你的Doris BE lib目录下palo_be替换成最新的,(这里如果你不确定,可以替换整lib目录,如果是大版本升级将你的配置文件(conf目录)备份出来,替换整个安装目录,然后将配置文件在还原回去


  1. 重启 BE 节点,通过 BE 日志 ,查看是否启动成功。


  1. 如果启动成功就可以按照这个方式滚动升级其他BE节点。


  1. 如果启动失败,可以先排查原因。如果错误不可恢复,可以直接通过 DROP BACKEND 删除该 BE、清理数据后,使用上一个版本的 palo_be 重新启动 BE。然后重新 ADD BACKEND。(该方法会导致丢失一个数据副本,请务必确保3副本完整的情况下,执行这个操作!!!


3.测试 Doris FE 元数据兼容性


重要预警!!元数据兼容性异常很可能导致数据无法恢复!!

  1. 单独使用新版本部署一个测试用的 FE 进程(比如自己本地的开发机,或者其他的BE节点)。


  1. 修改测试用的 FE 的配置文件 fe.conf。


  1. 在 fe.conf 添加配置:cluster_id=123456


  1. 在 fe.conf 添加配置:metadata_failure_recovery=true


  1. 拷贝线上环境 Master FE 的元数据整个目录到你刚部署的测试环境


  1. 将拷贝到测试环境中的doris-meta/image/VERSION 文件中的 cluster_id 修改为 123456(即与第3步中相同)


  1. 在测试环境中,运行 sh bin/start_fe.sh 启动 FE


  1. 通过 FE 日志 fe.log 观察是否启动成功。


  1. 如果启动成功,运行 sh bin/stop_fe.sh 停止测试环境的 FE 进程。


  1. 以上 2-6 步的目的是防止测试环境的FE启动后,错误连接到线上环境中。


4.滚动升级


  1. 在完成 BE 数据正确性及 FE 元数据兼容性验证后,将 BE 和 FE 新版本的二进制文件分发到各自目录下。


  1. 通常小版本升级,BE 只需升级 palo_be;而 FE 只需升级 palo-fe.jar。如果是大版本升级,则可能需要升级其他文件(包括但不限于 bin/ lib/ 等等)如果你不清楚是否需要替换其他文件,建议全部替换。


  1. 确认新版本的文件部署完成后。逐台重启 FE 和 BE 实例即可,首先完成BE的升级,重启。然后在重启FE


  1. 建议逐台重启 BE 后,再逐台重启 FE。因为通常 Doris 保证 FE 到 BE 的向后兼容性,即老版本的 FE 可以访问新版本的 BE。但可能不支持老版本的 BE 访问新版本的 FE。


  1. 建议确认前一个实例启动成功后,在重启下一个实例。实例启动成功的标识




目录
相关文章
|
19天前
|
关系型数据库 Apache 流计算
手把手教你实现 OceanBase 数据到阿里云数据库 SelectDB 内核版 Apache Doris 的便捷迁移|实用指南
本文介绍了如何将数据从 OceanBase 迁移到阿里云数据库 SelectDB 内核版 Apache Doris。提供 3 种数据同步方法 1. 使用 DataX,下载 DataX 并编写配置文件,通过 OceanBaseReader 和 DorisWriter 进行数据迁移。 2. 利用 Apache Doris 的 Catalog功 能,将 OceanBase 表映射到 Doris 并插入数据。 3. 通过Flink CDC,设置 OceanBase 环境,配置 Flink 连接器,实现实时数据同步。
手把手教你实现 OceanBase 数据到阿里云数据库 SelectDB 内核版 Apache Doris 的便捷迁移|实用指南
|
22小时前
|
SQL 大数据 BI
从离线到实时:无锡锡商银行基于 Apache Doris 的数据仓库演进实践
从离线到实时:无锡锡商银行基于 Apache Doris 的数据仓库演进实践
|
5天前
|
存储 监控 Apache
查询提速11倍、资源节省70%,阿里云数据库内核版 Apache Doris 在网易日志和时序场景的实践
网易的灵犀办公和云信利用 Apache Doris 改进了大规模日志和时序数据处理,取代了 Elasticsearch 和 InfluxDB。Doris 实现了更低的服务器资源消耗和更高的查询性能,相比 Elasticsearch,查询速度提升至少 11 倍,存储资源节省达 70%。Doris 的列式存储、高压缩比和倒排索引等功能,优化了日志和时序数据的存储与分析,降低了存储成本并提高了查询效率。在灵犀办公和云信的实际应用中,Doris 显示出显著的性能优势,成功应对了数据增长带来的挑战。
查询提速11倍、资源节省70%,阿里云数据库内核版 Apache Doris 在网易日志和时序场景的实践
|
12天前
|
存储 SQL Apache
阿里云数据库内核 Apache Doris 基于 Workload Group 的负载隔离能力解读
阿里云数据库内核 Apache Doris 基于 Workload Group 的负载隔离能力解读
阿里云数据库内核 Apache Doris 基于 Workload Group 的负载隔离能力解读
|
19天前
|
消息中间件 安全 API
Apache RocketMQ ACL 2.0 全新升级
RocketMQ ACL 2.0 不管是在模型设计、可扩展性方面,还是安全性和性能方面都进行了全新的升级。旨在能够为用户提供精细化的访问控制,同时,简化权限的配置流程。欢迎大家尝试体验新版本,并应用在生产环境中。
187462 6
|
23天前
|
存储 Java 网络安全
ZooKeeper【搭建 03】apache-zookeeper-3.6.0 伪集群版(一台服务器实现三个节点的ZooKeeper集群)
【4月更文挑战第10天】ZooKeeper【搭建 03】apache-zookeeper-3.6.0 伪集群版(一台服务器实现三个节点的ZooKeeper集群)
35 1
|
24天前
|
Kubernetes 关系型数据库 Apache
Apache Doris 2.1.2 版本正式发布!
Apache Doris 2.1.2 版本正式发布!该版本提交了若干改进项以及问题修复,进一步提升了系统的性能及稳定性,欢迎大家下载体验!
|
25天前
|
存储 Java 网络安全
ZooKeeper【搭建 02】apache-zookeeper-3.6.0 集群版(准备+安装配置+启动验证)
【4月更文挑战第8天】ZooKeeper【搭建 02】apache-zookeeper-3.6.0 集群版(准备+安装配置+启动验证)
22 1
|
1月前
|
Java 数据处理 调度
更高效准确的数据库内部任务调度实践,阿里云数据库SelectDB 内核 Apache Doris 内置 Job Scheduler 的实现与应用
Apache Doris 2.1 引入了内置的 Job Scheduler,旨在解决依赖外部调度系统的问题,提供秒级精确的定时任务管理。
|
2月前
|
消息中间件 API Apache
官宣|阿里巴巴捐赠的 Flink CDC 项目正式加入 Apache 基金会
本文整理自阿里云开源大数据平台徐榜江 (雪尽),关于阿里巴巴捐赠的 Flink CDC 项目正式加入 Apache 基金会。
1624 2
官宣|阿里巴巴捐赠的 Flink CDC 项目正式加入 Apache 基金会

推荐镜像

更多