Doris 运维篇:Apache Doris tablet错误问题实操案例(一)

简介: Doris 运维篇:Apache Doris tablet错误问题实操案例(一)

今天一个用户出现BE(用户使用的是0.14.13.1这个版本) 启动之后,过一会就会挂掉,be.out也没有错误信息,不知道什么问题造成的。因为之前是正常的,我们首先想到的是不是OOM了,我通过下面的命令查看:

dmesg -T

然后就看到了下面的信息

Memory cgroup out of memory: Kill process 7187 (doris_be) score 1007 or sacrifice child

确认是OOM问题,这个时候我们要知道是什么引发的OOM,我打开了 top -H 命令,


然后看到有BE compaction的任务运行,内存飙升的很快,可以确定是因为某些 tablet compaction造成了这错误,我们这个时候就要找出是哪个tablet 引发的然后去处理,我们通过 BE 的日志找出这个tablet:

grep "permits" log/be.INFO |tail -n 100

我们找到 permits 较大的一个任务对应的 tablet id,如下图permit 为 4096 的任务的 tablet id 为 5103093,然后继续分析这个 tablet 的 compaction 情况。

16.png

通过 MySQL 客户端连接 Doris 集群后,执行:

show tablet 5103093

我们看到了下面的信息

17.pngTableName 是空,其他的信息也是不对的,这样反而是好处理的


处理方法就是将这个节点的tablet 删除掉,使用meta_tool 工具

./lib/meta_tool --operation=delete_meta --root_path=/path/to/root_path --tablet_id=xxx --schema_hash=xxx

这里的schema_hash 值对应的就是上面查看permits命令返回信息里tabletid后面那一串数字,


删除这个tablet之后,在重新启动这个be ,服务恢复正常


其他版本的Doris 出现类似问题也可以参照这个来进行解决

目录
相关文章
|
23天前
|
存储 数据库连接 Apache
Apache Doris 2.0.4 版本正式发布
亲爱的社区小伙伴们,[Apache Doris 2.0.4 ](https://doris.apache.org/download/) 版本已于 2024 年 1 月 26 日正式发布,该版本在新优化器、倒排索引、数据湖等功能上有了进一步的完善与更新,使 Apache Doris 能够适配更广泛的场景。此外,该版本进行了若干的改进与优化,以提供更加稳定高效的性能体验。新版本已经上线,欢迎大家下载使用!
|
26天前
|
SQL 存储 自然语言处理
文本检索性能提升 40 倍,Apache Doris 倒排索引深度解读
如何充分利用倒排索引以及 NGram Bloom Filter 索引进行查询加速,并详细解析其工作原理与最佳实践。
文本检索性能提升 40 倍,Apache Doris 倒排索引深度解读
|
30天前
|
存储 关系型数据库 Apache
Apache Doris 实时数据仓库的构建与技术选型方案
Apache Doris 实时数据仓库的构建与技术选型方案
|
30天前
|
SQL 关系型数据库 Apache
Apache Doris 整合 FLINK CDC 、Paimon 构建实时湖仓一体的联邦查询入门
Apache Doris 整合 FLINK CDC 、Paimon 构建实时湖仓一体的联邦查询入门
320 1
|
1月前
|
SQL 存储 Apache
银联商务:阿里云数据库 SelectDB 版内核 Apache Doris 赋能“科技银商”,助力金融机构挖掘增长新机遇
银联商务基于 Apache Doris 构建了新一代实时数据仓库架构,使数据导入性能提升 2-5 倍、ETL 场景性能提升 3-12 倍、查询分析响应速度提升 10-15 倍。
|
1月前
|
存储 关系型数据库 Apache
Apache Doris 入门 10 问
本文解答了Apache Doris 在读写流程、副本一致性机制、 存储机制、高可用机制等方面的常见疑问点,欢迎订阅。
Apache Doris 入门 10 问
|
1月前
|
存储 SQL 关系型数据库
Apache Doris 聚合函数源码阅读与解析|源码解读系列
Apache Doris Active Contributor 隐形通过本文记录下对源码的理解,以方便新人快速上手源码开发。
Apache Doris 聚合函数源码阅读与解析|源码解读系列
|
2月前
|
Apache
带你读《Apache Doris 案例集》—— 前言
带你读《Apache Doris 案例集》—— 前言
128 0
|
2月前
|
存储 SQL 大数据
带你读《Apache Doris 案例集》—— 01 招商信诺人寿 基于 Apache Doris 统一 OLAP 技术栈实践(1)
带你读《Apache Doris 案例集》—— 01 招商信诺人寿 基于 Apache Doris 统一 OLAP 技术栈实践(1)
131 0
|
1天前
|
运维 Linux 数据安全/隐私保护
【Linux专题_01】宝塔面板安装及运维
【Linux专题_01】宝塔面板安装及运维
13 0

推荐镜像

更多