Apache Doris 集群升级

简介: Apache Doris 可以通过滚动升级的方式,平滑进行升级。升级顺序是先升级BE,再升级FE,不能颠倒升级顺序。Doris保证BE向后兼容FE。

Apache Doris 可以通过滚动升级的方式,平滑进行升级。升级顺序是先升级BE,再升级FE,不能颠倒升级顺序。Doris保证BE向后兼容FE。


升级的过程可以分为:


  1. 测试 Doris BE 升级的正确性,


  1. 测试 Doris FE 元数据兼容,


  1. 滚动升级


  1. 观察升级后的集群服务


注:

1.为了保证在集群升级过程中,Doris服务是可用的,建议Doris集群 在高可用部署的情况下进行。即数据 3 副本,FE 高可用情况下。

2.Doris 不支持跨两位版本升级,比如你现在使用的是0.12.x版本,不能直接升级到0.14.x版本,必须首先升级0.13.x版本,Doris 可以跨三位版本进行生,比如你可以从0.13.15版本直接升级到0.14.13版本,这点非常重要

3.Doris FE 元数据目前不支持回退在升级之前一定要做好元数据备份和元数据兼容测试

1.升级准备


准备好要升级的 Doris 安装包,


  1. 准备一个测试FE节点,你可以临时使用某一个BE节点作为测试FE节点,将FE安装包复制到这个节点


  1. 将 BE 和 FE 新版本的二进制文件分发到集群各自节点指定目录下(目录自己指定,不是doris安装目录即可,方便后面升级文件拷贝)。


  1. 小版本升级,BE 只需升级 palo_be;FE 只需升级 palo-fe.jar,建议整体替换fe安装目录下的lib目录。


  1. 大版本升级,则可能需要升级其他文件(包括但不限于 bin/ lib/ 等);如果不确定是否需要替换其他文件,全部替换即可,备份你的 FE 和 BE conf配置文件。


  1. 在正式升级之前为了保证升级失败能回滚,强烈建议备份 Doris FE 的元数据,一旦升级失败因为Doris 元数据不支持兼容低版本,没办法回退


2.测试 Doris BE 升级正确性


  1. 任意选择一个 BE 节点,j将拷贝过来的BE安装包里lib目录下最新的 palo_be 二进制文件,复制到你的Doris BE lib目录下palo_be替换成最新的,(这里如果你不确定,可以替换整lib目录,如果是大版本升级将你的配置文件(conf目录)备份出来,替换整个安装目录,然后将配置文件在还原回去


  1. 重启 BE 节点,通过 BE 日志 ,查看是否启动成功。


  1. 如果启动成功就可以按照这个方式滚动升级其他BE节点。


  1. 如果启动失败,可以先排查原因。如果错误不可恢复,可以直接通过 DROP BACKEND 删除该 BE、清理数据后,使用上一个版本的 palo_be 重新启动 BE。然后重新 ADD BACKEND。(该方法会导致丢失一个数据副本,请务必确保3副本完整的情况下,执行这个操作!!!


3.测试 Doris FE 元数据兼容性


重要预警!!元数据兼容性异常很可能导致数据无法恢复!!

  1. 单独使用新版本部署一个测试用的 FE 进程(比如自己本地的开发机,或者其他的BE节点)。


  1. 修改测试用的 FE 的配置文件 fe.conf。


  1. 在 fe.conf 添加配置:cluster_id=123456


  1. 在 fe.conf 添加配置:metadata_failure_recovery=true


  1. 拷贝线上环境 Master FE 的元数据整个目录到你刚部署的测试环境


  1. 将拷贝到测试环境中的doris-meta/image/VERSION 文件中的 cluster_id 修改为 123456(即与第3步中相同)


  1. 在测试环境中,运行 sh bin/start_fe.sh 启动 FE


  1. 通过 FE 日志 fe.log 观察是否启动成功。


  1. 如果启动成功,运行 sh bin/stop_fe.sh 停止测试环境的 FE 进程。


  1. 以上 2-6 步的目的是防止测试环境的FE启动后,错误连接到线上环境中。


4.滚动升级


  1. 在完成 BE 数据正确性及 FE 元数据兼容性验证后,将 BE 和 FE 新版本的二进制文件分发到各自目录下。


  1. 通常小版本升级,BE 只需升级 palo_be;而 FE 只需升级 palo-fe.jar。如果是大版本升级,则可能需要升级其他文件(包括但不限于 bin/ lib/ 等等)如果你不清楚是否需要替换其他文件,建议全部替换。


  1. 确认新版本的文件部署完成后。逐台重启 FE 和 BE 实例即可,首先完成BE的升级,重启。然后在重启FE


  1. 建议逐台重启 BE 后,再逐台重启 FE。因为通常 Doris 保证 FE 到 BE 的向后兼容性,即老版本的 FE 可以访问新版本的 BE。但可能不支持老版本的 BE 访问新版本的 FE。


  1. 建议确认前一个实例启动成功后,在重启下一个实例。实例启动成功的标识




目录
相关文章
|
19天前
|
存储 消息中间件 分布式计算
Cisco WebEx 数据平台:统一 Trino、Pinot、Iceberg 及 Kyuubi,探索 Apache Doris 在 Cisco 的改造实践
Cisco WebEx 早期数据平台采用了多系统架构(包括 Trino、Pinot、Iceberg 、 Kyuubi 等),面临架构复杂、数据冗余存储、运维困难、资源利用率低、数据时效性差等问题。因此,引入 Apache Doris 替换了 Trino、Pinot 、 Iceberg 及 Kyuubi 技术栈,依赖于 Doris 的实时数据湖能力及高性能 OLAP 分析能力,统一数据湖仓及查询分析引擎,显著提升了查询性能及系统稳定性,同时实现资源成本降低 30%。
Cisco WebEx 数据平台:统一 Trino、Pinot、Iceberg 及 Kyuubi,探索 Apache Doris 在 Cisco 的改造实践
|
9天前
|
SQL 存储 Apache
Apache Doris 3.0.3 版本正式发布
亲爱的社区小伙伴们,Apache Doris 3.0.3 版本已于 2024 年 12 月 02 日正式发布。该版本进一步提升了系统的性能及稳定性,欢迎大家下载体验。
|
1月前
|
存储 SQL Apache
Apache Doris 开源最顶级基于MPP架构的高性能实时分析数据库
Apache Doris 是一个基于 MPP 架构的高性能实时分析数据库,以其极高的速度和易用性著称。它支持高并发点查询和复杂分析场景,适用于报表分析、即席查询、数据仓库和数据湖查询加速等。最新发布的 2.0.2 版本在性能、稳定性和多租户支持方面有显著提升。社区活跃,已广泛应用于电商、广告、用户行为分析等领域。
Apache Doris 开源最顶级基于MPP架构的高性能实时分析数据库
|
28天前
|
SQL 存储 数据处理
兼顾高性能与低成本,浅析 Apache Doris 异步物化视图原理及典型场景
Apache Doris 物化视图进行了支持。**早期版本中,Doris 支持同步物化视图;从 2.1 版本开始,正式引入异步物化视图,[并在 3.0 版本中完善了这一功能](https://www.selectdb.com/blog/1058)。**
|
1月前
|
SQL 存储 Java
Apache Doris 2.1.7 版本正式发布
亲爱的社区小伙伴们,**Apache Doris 2.1.7 版本已于 2024 年 11 月 10 日正式发布。**2.1.7 版本持续升级改进,同时在湖仓一体、异步物化视图、半结构化数据管理、查询优化器、执行引擎、存储管理、以及权限管理等方面完成了若干修复。欢迎大家下载使用。
|
1月前
|
监控 Cloud Native BI
8+ 典型分析场景,25+ 标杆案例,Apache Doris 和 SelectDB 精选案例集(2024版)电子版上线
飞轮科技正式推出 Apache Doris 和 SelectDB 精选案例集 ——《走向现代化的数据仓库(2024 版)》,汇聚了来自各行各业的成功案例与实践经验。该书以行业为划分标准,辅以使用场景标签,旨在为读者提供一个高度整合、全面涵盖、分类清晰且易于查阅的学习资源库。
|
1月前
|
SQL DataWorks 关系型数据库
阿里云 DataWorks 正式支持 SelectDB & Apache Doris 数据源,实现 MySQL 整库实时同步
阿里云数据库 SelectDB 版是阿里云与飞轮科技联合基于 Apache Doris 内核打造的现代化数据仓库,支持大规模实时数据上的极速查询分析。通过实时、统一、弹性、开放的核心能力,能够为企业提供高性价比、简单易用、安全稳定、低成本的实时大数据分析支持。SelectDB 具备世界领先的实时分析能力,能够实现秒级的数据实时导入与同步,在宽表、复杂多表关联、高并发点查等不同场景下,提供超越一众国际知名的同类产品的优秀性能,多次登顶 ClickBench 全球数据库分析性能排行榜。
|
5天前
|
存储 人工智能 大数据
The Past, Present and Future of Apache Flink
本文整理自阿里云开源大数据负责人王峰(莫问)在 Flink Forward Asia 2024 上海站主论坛开场的分享,今年正值 Flink 开源项目诞生的第 10 周年,借此时机,王峰回顾了 Flink 在过去 10 年的发展历程以及 Flink社区当前最新的技术成果,最后展望下一个十年 Flink 路向何方。
251 33
The Past, Present and Future of Apache Flink
|
2月前
|
SQL Java API
Apache Flink 2.0-preview released
Apache Flink 社区正积极筹备 Flink 2.0 的发布,这是自 Flink 1.0 发布以来的首个重大更新。Flink 2.0 将引入多项激动人心的功能和改进,包括存算分离状态管理、物化表、批作业自适应执行等,同时也包含了一些不兼容的变更。目前提供的预览版旨在让用户提前尝试新功能并收集反馈,但不建议在生产环境中使用。
800 13
Apache Flink 2.0-preview released
|
2月前
|
存储 缓存 算法
分布式锁服务深度解析:以Apache Flink的Checkpointing机制为例
【10月更文挑战第7天】在分布式系统中,多个进程或节点可能需要同时访问和操作共享资源。为了确保数据的一致性和系统的稳定性,我们需要一种机制来协调这些进程或节点的访问,避免并发冲突和竞态条件。分布式锁服务正是为此而生的一种解决方案。它通过在网络环境中实现锁机制,确保同一时间只有一个进程或节点能够访问和操作共享资源。
88 3

推荐镜像

更多