Apache Doris 集群升级

简介: Apache Doris 可以通过滚动升级的方式,平滑进行升级。升级顺序是先升级BE,再升级FE,不能颠倒升级顺序。Doris保证BE向后兼容FE。

Apache Doris 可以通过滚动升级的方式,平滑进行升级。升级顺序是先升级BE,再升级FE,不能颠倒升级顺序。Doris保证BE向后兼容FE。


升级的过程可以分为:


  1. 测试 Doris BE 升级的正确性,


  1. 测试 Doris FE 元数据兼容,


  1. 滚动升级


  1. 观察升级后的集群服务


注:

1.为了保证在集群升级过程中,Doris服务是可用的,建议Doris集群 在高可用部署的情况下进行。即数据 3 副本,FE 高可用情况下。

2.Doris 不支持跨两位版本升级,比如你现在使用的是0.12.x版本,不能直接升级到0.14.x版本,必须首先升级0.13.x版本,Doris 可以跨三位版本进行生,比如你可以从0.13.15版本直接升级到0.14.13版本,这点非常重要

3.Doris FE 元数据目前不支持回退在升级之前一定要做好元数据备份和元数据兼容测试

1.升级准备


准备好要升级的 Doris 安装包,


  1. 准备一个测试FE节点,你可以临时使用某一个BE节点作为测试FE节点,将FE安装包复制到这个节点


  1. 将 BE 和 FE 新版本的二进制文件分发到集群各自节点指定目录下(目录自己指定,不是doris安装目录即可,方便后面升级文件拷贝)。


  1. 小版本升级,BE 只需升级 palo_be;FE 只需升级 palo-fe.jar,建议整体替换fe安装目录下的lib目录。


  1. 大版本升级,则可能需要升级其他文件(包括但不限于 bin/ lib/ 等);如果不确定是否需要替换其他文件,全部替换即可,备份你的 FE 和 BE conf配置文件。


  1. 在正式升级之前为了保证升级失败能回滚,强烈建议备份 Doris FE 的元数据,一旦升级失败因为Doris 元数据不支持兼容低版本,没办法回退


2.测试 Doris BE 升级正确性


  1. 任意选择一个 BE 节点,j将拷贝过来的BE安装包里lib目录下最新的 palo_be 二进制文件,复制到你的Doris BE lib目录下palo_be替换成最新的,(这里如果你不确定,可以替换整lib目录,如果是大版本升级将你的配置文件(conf目录)备份出来,替换整个安装目录,然后将配置文件在还原回去


  1. 重启 BE 节点,通过 BE 日志 ,查看是否启动成功。


  1. 如果启动成功就可以按照这个方式滚动升级其他BE节点。


  1. 如果启动失败,可以先排查原因。如果错误不可恢复,可以直接通过 DROP BACKEND 删除该 BE、清理数据后,使用上一个版本的 palo_be 重新启动 BE。然后重新 ADD BACKEND。(该方法会导致丢失一个数据副本,请务必确保3副本完整的情况下,执行这个操作!!!


3.测试 Doris FE 元数据兼容性


重要预警!!元数据兼容性异常很可能导致数据无法恢复!!

  1. 单独使用新版本部署一个测试用的 FE 进程(比如自己本地的开发机,或者其他的BE节点)。


  1. 修改测试用的 FE 的配置文件 fe.conf。


  1. 在 fe.conf 添加配置:cluster_id=123456


  1. 在 fe.conf 添加配置:metadata_failure_recovery=true


  1. 拷贝线上环境 Master FE 的元数据整个目录到你刚部署的测试环境


  1. 将拷贝到测试环境中的doris-meta/image/VERSION 文件中的 cluster_id 修改为 123456(即与第3步中相同)


  1. 在测试环境中,运行 sh bin/start_fe.sh 启动 FE


  1. 通过 FE 日志 fe.log 观察是否启动成功。


  1. 如果启动成功,运行 sh bin/stop_fe.sh 停止测试环境的 FE 进程。


  1. 以上 2-6 步的目的是防止测试环境的FE启动后,错误连接到线上环境中。


4.滚动升级


  1. 在完成 BE 数据正确性及 FE 元数据兼容性验证后,将 BE 和 FE 新版本的二进制文件分发到各自目录下。


  1. 通常小版本升级,BE 只需升级 palo_be;而 FE 只需升级 palo-fe.jar。如果是大版本升级,则可能需要升级其他文件(包括但不限于 bin/ lib/ 等等)如果你不清楚是否需要替换其他文件,建议全部替换。


  1. 确认新版本的文件部署完成后。逐台重启 FE 和 BE 实例即可,首先完成BE的升级,重启。然后在重启FE


  1. 建议逐台重启 BE 后,再逐台重启 FE。因为通常 Doris 保证 FE 到 BE 的向后兼容性,即老版本的 FE 可以访问新版本的 BE。但可能不支持老版本的 BE 访问新版本的 FE。


  1. 建议确认前一个实例启动成功后,在重启下一个实例。实例启动成功的标识




相关文章
|
10月前
|
消息中间件 OLAP Kafka
Apache Doris 实时更新技术揭秘:为何在 OLAP 领域表现卓越?
Apache Doris 为何在 OLAP 领域表现卓越?凭借其主键模型、数据延迟、查询性能、并发处理、易用性等多方面特性的表现,在分析领域展现了独特的实时更新能力。
810 9
|
9月前
|
存储 自然语言处理 分布式计算
Apache Doris 3.1 正式发布:半结构化分析全面升级,湖仓一体能力再跃新高
Apache Doris 3.1 正式发布!全面升级半结构化分析,支持 VARIANT 稀疏列与模板化 Schema,提升湖仓一体能力,增强 Iceberg/Paimon 集成,优化存储引擎与查询性能,助力高效数据分析。
1082 4
Apache Doris 3.1 正式发布:半结构化分析全面升级,湖仓一体能力再跃新高
|
10月前
|
存储 分布式计算 Apache
湖仓一体:小米集团基于 Apache Doris + Apache Paimon 实现 6 倍性能飞跃
小米通过将 Apache Doris(数据库)与 Apache Paimon(数据湖)深度融合,不仅解决了数据湖分析的性能瓶颈,更实现了 “1+1>2” 的协同效应。在这些实践下,小米在湖仓数据分析场景下获得了可观的业务收益。
1545 9
湖仓一体:小米集团基于 Apache Doris + Apache Paimon 实现 6 倍性能飞跃
|
10月前
|
人工智能 运维 监控
智能运维与数据治理:基于 Apache Doris 的 Data Agent 解决方案
本文基于 Apache Doris 数据运维治理 Agent 展开讨论,如何让 AI 成为 Doris 数据运维工程师和数据治理专家的智能助手,并在某些场景下实现对人工操作的全面替代。这种变革不仅仅是技术层面的进步,更是数据运维治理思维方式的根本性转变:从“被动响应”到“主动预防”,从“人工判断”到“智能决策”,从“孤立处理”到“协同治理”。
1543 11
智能运维与数据治理:基于 Apache Doris 的 Data Agent 解决方案
|
9月前
|
SQL 人工智能 数据挖掘
Apache Doris 4.0 AI 能力揭秘(二):为企业级应用而生的 AI 函数设计与实践
Apache Doris 4.0 原生集成 LLM 函数,将大语言模型能力深度融入 SQL 引擎,实现文本处理智能化与数据分析一体化。通过十大函数,支持智能客服、内容分析、金融风控等场景,提升实时决策效率。采用资源池化管理,保障数据一致性,降低传输开销,毫秒级完成 AI 分析。结合缓存复用、并行执行与权限控制,兼顾性能、成本与安全,推动数据库向 AI 原生演进。
926 0
Apache Doris 4.0 AI 能力揭秘(二):为企业级应用而生的 AI 函数设计与实践
|
10月前
|
SQL 存储 JSON
Apache Doris 2.1.10 版本正式发布
亲爱的社区小伙伴们,Apache Doris 2.1.10 版本已正式发布。2.1.10 版本对湖仓一体、半结构化数据类型、查询优化器、执行引擎、存储管理进行了若干改进优化。欢迎大家下载使用。
451 5
|
10月前
|
人工智能 自然语言处理 数据挖掘
Apache Doris 4.0 AI 能力揭秘(一):AI 函数之 LLM 函数介绍
在即将发布的 Apache Doris 4.0 版本中,我们正式引入了一系列 LLM 函数,将前沿的 AI 能力与日常的数据分析相结合,无论是精准提取文本信息,还是对评论进行情感分类,亦或生成精炼的文本摘要,皆可在数据库内部无缝完成。
653 0
Apache Doris 4.0 AI 能力揭秘(一):AI 函数之 LLM 函数介绍
|
8月前
|
人工智能 数据处理 API
阿里云、Ververica、Confluent 与 LinkedIn 携手推进流式创新,共筑基于 Apache Flink Agents 的智能体 AI 未来
Apache Flink Agents 是由阿里云、Ververica、Confluent 与 LinkedIn 联合推出的开源子项目,旨在基于 Flink 构建可扩展、事件驱动的生产级 AI 智能体框架,实现数据与智能的实时融合。
1383 6
阿里云、Ververica、Confluent 与 LinkedIn 携手推进流式创新,共筑基于 Apache Flink Agents 的智能体 AI 未来
|
存储 Cloud Native 数据处理
从嵌入式状态管理到云原生架构:Apache Flink 的演进与下一代增量计算范式
本文整理自阿里云资深技术专家、Apache Flink PMC 成员梅源在 Flink Forward Asia 新加坡 2025上的分享,深入解析 Flink 状态管理系统的发展历程,从核心设计到 Flink 2.0 存算分离架构,并展望未来基于流批一体的通用增量计算方向。
627 0
从嵌入式状态管理到云原生架构:Apache Flink 的演进与下一代增量计算范式
|
10月前
|
SQL 人工智能 数据挖掘
Apache Flink:从实时数据分析到实时AI
Apache Flink 是实时数据处理领域的核心技术,历经十年发展,已从学术项目成长为实时计算的事实标准。它在现代数据架构中发挥着关键作用,支持实时数据分析、湖仓集成及实时 AI 应用。随着 Flink 2.0 的发布,其在流式湖仓、AI 驱动决策等方面展现出强大潜力,正推动企业迈向智能化、实时化的新阶段。
1123 9
Apache Flink:从实时数据分析到实时AI

推荐镜像

更多