Elasticsearch堆外溢出导致频繁OOM怎么办?

简介: Elasticsearch堆外溢出导致频繁OOM怎么办?

当业务不是特别重要的时候,往往升级配置的需求不是很强烈。

说明

  • 系统环境说明

Linux环境:CentOS Linux release 7.2 (Final)

Elasticsearch: 7.10.1

Java:1.8.0_181

  • 机器配置

机器数量:5

内存:8G

硬盘:200G

CPU核心数:2

背景

节点反复下线

当业务不是特别重要的时候,往往升级配置的需求不是很强烈。但是低配机器通常伴随集群不稳定等问题,严重的情况还会直接导致集群无法使用。

问题

节点轮番下线,2分钟下线一个节点,集群无法使用,状态一直RED。即便有副本也无济于事,主分片下线,副本分片被紧急提升为主分片,然而副本分片还没来及恢复,主分片所在的节点又下线了,此时高可用失去意义。

图中可以明显看出节点离线十分频繁。

问题原因

机器配置过低

进一步分析,发现节点下线是因为反复发生OOM。机器配置确实很低,但由于业务场景的原因,这个集群只要保障可用即可,对性能没有要求。基于这些现状,我决定曲线救国。

图中可以看出发生了OOM。

解决方案

方案一:解决堆外使用率过高的问题(可以轻微缓解)

问题的根因是因为内存不足,经过分析,发现是堆外内存使用比较严重,一直在疯涨,达到100%发生OOM。

禁止堆外:

curl -H "Content-Type:application/json" -XPUT http://localhost:9200/_cluster/settings -d '{
   
  "persistent" : {
   
    "indices.segment_memory.off_heap.enable" : false
   }
}'

禁止堆外之后,明显发现离线频率降低了,但是偶尔还是容易发生两个节点同时离线,导致集群变红。

方案二:解决内存不足的问题(可以有效缓解)

由于业务场景的缘故,对集群性能要求不高,但求集群能够使用即可,这里我想到了增加交换内存。

dd if=/dev/zero of=/opt/swap bs=8192 count=1024000
chmod 600 /opt/swap
mkswap /opt/swap
swapon /opt/swap

在增加了交换内存之后,离线的频率明显降低,由之前的分钟级变为了小时级,完全可以满足业务需求。

图中可以看出uptime最近一次重启是21分钟前,最久一次的重启是5小时前。

申明

Elasticsearch官方强烈要求关闭交换内存,目的是为了减少请求延迟。这里是由于业务场景的特殊性,对性能没有要求,所以可以接受请求延迟。

截图来自 —— swapping 是性能的坟墓

方案三:解决异常插件问题(水落石出,彻底根治)

通过一系列的分析,目前看函数调用链,偏向于是QQ分词器的问题。

确认这些函数是QQ分词器里面的。卸载QQ分词器之后,问题解决。

注意:

如果业务需要使用QQ分词器,无法卸载该插件,则可以临时采用方案二,QQ分词器BUG的修复,正在紧张进行中,届时发布后更新此插件即可彻底修复。

目录
相关文章
|
1月前
|
人工智能 自然语言处理 搜索推荐
没有预算还能做GEO优化吗:零成本可落地的六个动作
本文探讨零预算下做好GEO(生成式引擎优化)的可行路径:不靠烧钱买流量,而以时间与纪律深耕内容质量。核心观点是——钱买产能,但“被引用的资格”由事实台账、段落自足、可核对数据、条件式覆盖等低成本动作决定。结合权威数据与实操六步法,助力中小团队8周内系统提升AI搜索可见性。
194 1
|
1月前
|
人工智能 自然语言处理 机器人
程序员节限时福利:21元拿下好域名
项目写到一半,域名还没定?1024开发者节推出专属后缀:`.chat`(AI/客服)、`.run`(运行环境)、`.team`(开发团队),首年统一21元,直降40%–58%!支持万网CLI自然语言查域名、比价、下单。
程序员节限时福利:21元拿下好域名
|
1月前
|
JavaScript API 开发工具
DeepSeek Harness 实战入门:从 Cordis 插件内核、本地部署、SDK 开发到模式选型与避坑,一文全掌握
DeepSeek Harness作为开源Agent运行时底座,通过Cordis插件内核将大模型推理能力与本地文件、系统命令执行环境深度打通,实现了高度可扩展、权限可控、全链路可追溯的智能体运行机制。它不是用来聊天的成品软件,而是供开发者搭建、调试和评测智能体的底层框架。如果你需要本地数据可控、支持自定义扩展的Agent执行环境,可以用npx命令快速启动体验;如果只是日常对话,网页客户端更加方便。正式投入业务前,建议用独立测试目录完成多组验证。更多项目详情👉访问‌阿里云百炼大模型服务平台页面‌了解。 随着Agent技术持续演进,Harness这类运行时框架有望成为连接大模型与真实计算机环境的
509 1
|
1月前
|
存储 人工智能 安全
阿里云 2026 DeepSeek Harness 技术详解:开源 Agent 运行框架,Cordis 插件内核与本地部署实操指南
在AI智能体快速落地的阶段,很多开发者会陷入一个困境:市面上现有的Agent工具大多是封装完整的成品应用,模型调用逻辑、工具执行循环、存储会话机制全部写死在底层,开发者只能调整表层参数,一旦业务需要自定义任务调度规则、替换沙箱执行环境、改造模型接入适配器,修改成本极高,很难适配项目的个性化需求。DeepSeek Harness,简称dsh,是开源的生产级AI智能体执行脚手架,遵循“Agent = 模型 + Harness”的工程范式,大模型负责推理思考,而Harness作为控制中枢,承担环境交互、工具契约管理、安全沙箱、持久化记忆、任务循环调度的全部工作。
685 1
体验版有限制每日对话次数吗?
账户虽有免费额度,但调用DeepSeek-V4.1-Flash模型时提示“今日对话次数已达上限”,其他模型仍可正常使用。可明日重置或升级订阅获取更多权益。
|
1月前
|
存储 人工智能 自然语言处理
别再被概念忽悠了!一文读懂企业数据中台到底该怎么用
本文直击数据中台“建而不用”痛点,指出60%项目失败主因是治理滞后、口径未入代码、资产难消费。阿里云瓴羊Dataphin以“治理即研发”理念,将标准、质量、安全嵌入建模开发全流程,并通过语义知识图谱与Data Agent实现业务自助用数,真正打通从建设到价值落地的“最后一公里”。
|
1月前
|
人工智能 移动开发 自然语言处理
千问办公 QwenWork 详细介绍:产品核心能力、典型场景、价格及常见问题解答
千问办公(QwenWork)是阿里巴巴推出的一站式AI Agent办公平台,主打“对话即交付”——一句话生成PPT、Excel、网页、报告等可直接落地成果;深度集成钉钉,支持多模态解析、定时任务与多端协同(网页/桌面/钉钉),助力提效降本。
591 0
|
1月前
|
人工智能 JSON API
爆火 Jev 模型到底强在哪?性能实测、API 调用与项目落地全指南
对于开发者来说,可以优先在原型环境用Playground验证业务可行性,小规模真实样本测试之后,再上线生产环境;优先使用SDK封装调用,高风险链路增加人工兜底逻辑。随着生态持续完善,System One这类决策模型,会成为AI应用架构中越来越重要的组成部分。
357 0
|
1月前
|
人工智能 算法 数据安全/隐私保护
AI改简历副业拆解:1.4天开张、月入中位1.3万,普通人怎么切129-199这档
这是一门“规则翻译”型AI副业:不卖写作,而卖将求职者经历精准翻译成ATS机器与HR能识别的语言。启动仅约200元,海外60人面板显示中位1.4天开张,3个月收入中位1.3万元。核心是关键词对齐、STAR量化、格式兼容三步法,聚焦129–199元理性定价档,轻资产、快验证、可复制。(239字)
|
1月前
|
自然语言处理 PyTorch TensorFlow
开源的jev模型怎么选:5个项目的能力与部署场景分析
本文围绕“开源的jev模型”比较 Deepopen(改进后的 Laya)、fastText、SetFit、Sentence Transformers 与 Google BERT。五个项目分别覆盖结构化决策、监督式文本分类、少样本微调、语义向量与重排序、Transformer 编码器微调等路径。选型可从输出形态、训练数据规模、多语言需求、运行环境及业务集成方式出发匹配,不同项目适用于工单分诊、内容审核、语义检索和自定义分类等场景。

热门文章

最新文章