Elasticsearch直方图聚合区间产生min越界的问题

简介: Elasticsearch直方图聚合区间产生min越界的问题

该参数用来限制数据的范围,因为ES默认统计field最大值和最小值之间的所有数据。

背景

参数:extended_bounds

该参数用来限制数据的范围,因为ES默认统计field最大值和最小值之间的所有数据。

问题

ES查询直方图数据,结果明显发生了越界:

GET robot_msg_202012/_search 
{
   
    "size":0,
    "query":{
   
        "bool":{
   
            "must":[
                {
   
                    "term":{
   
                        "kfuin":{
   
                            "value":"2852199391"
                        }
                    }
                },
                {
   
                    "term":{
   
                        "robot_id":{
   
                            "value":"921678007"
                        }
                    }
                },
                {
   
                    "range":{
   
                        "msg_time":{
   
                            "gte":1607529600000000,
                            "lte":1608134399000000
                        }
                    }
                }
            ]
        }
    },
    "aggs":{
   
        "time_range_aggs":{
   
            "histogram":{
   
                "field":"msg_time",
                "interval":86400000000,
                "min_doc_count":0,
                "extended_bounds":{
   
                    "min":1607529600000000,
                    "max":1608134399000000
                }
            },
            "aggs":{
   
                "single_wheel_message_match_nums_sub_aggs":{
   
                    "filter":{
   
                        "bool":{
   
                            "must":[
                                {
   
                                    "term":{
   
                                        "answer_type":{
   
                                            "value":1
                                        }
                                    }
                                },
                                {
   
                                    "bool":{
   
                                        "must_not":{
   
                                            "term":{
   
                                                "reply_type":0
                                            }
                                        }
                                    }
                                }
                            ]
                        }
                    },
                    "aggs":{
   
                        "single_wheel_message_match_nums_sub_sub_aggs":{
   
                            "value_count":{
   
                                "field":"msg_time"
                            }
                        }
                    }
                },
                "message_match_total_nums_sub_aggs":{
   
                    "value_count":{
   
                        "field":"msg_time"
                    }
                },
                "multi_wheel_dos_sent_message_nums_sub_aggs":{
   
                    "value_count":{
   
                        "field":"dos_sent"
                    }
                },
                "multi_wheel_unsat_eval_message_nums_sub_aggs":{
   
                    "value_count":{
   
                        "field":"unsat_eval"
                    }
                }
            }
        }
    }
}

图中可以看到查询结果的key低于min。

问题原因

这里的越界其实是符合预期的,因为真正的边界取决于interval,而不是min,所表现出的特征是:

结果中看到的最小key(1607040000000000),可以被interval(864000000000)所整除

当extended_bounds.min不被interval整除的时候,默认的最小值为:

key = extended_bounds.min - (extended_bounds.min % interval)

解决方法

histogram提供了offset,以偏移桶的边界,其算法是:

offset = extended_bounds.min % interval

正确的做法是出现这种情况时,设置offset值,这样最小key就会等于extended_bounds.min,问题就会得到解决。

offset原理

https://www.elastic.co/guide/en/elasticsearch/reference/current/search-aggregations-bucket-histogram-aggregation.html#_offset_2

目录
相关文章
|
1月前
|
存储 安全 数据挖掘
在线教育系统源码与定制开发:企业搭建网校平台的技术方案解析
企业如何搭建属于自己的在线教育平台?本文从软件开发角度,解析在线教育系统源码与定制开发的区别,介绍课程管理、直播教学、学员管理、在线支付及学习数据分析等核心功能,并探讨视频播放、系统安全、性能扩展和项目实施流程,为教育培训机构、企业培训部门及知识付费平台规划网校系统提供参考。
|
1月前
|
人工智能 弹性计算 编解码
2026阿里云GPU云服务器多少钱?T4/A10/V100/L20全规格计费明细汇总
2026年的阿里云EGS GPU云服务器,价格体系已从"一刀切"进化为精密的分层矩阵。从38元轻量应用服务器到数万元L20多卡实例,从按秒计费到五年锁定折扣,每一个选择都直接关乎你的钱包厚度。 看懂计费模式、理清资源计价逻辑、定期巡检闲置资源、用命令防微杜渐‌——这四把钥匙,便能将阿里云EGS GPU云服务器的上云成本真正压到最低。算力时代,省钱即是竞争力。
316 2
|
1月前
|
人工智能 编解码 并行计算
Stable Diffusion文生图:本地 AI 绘画事实标准入门
Stable Diffusion 是本地AI绘画事实标准,4GB显存即可运行。本文从版本选择(SD1.5/XL)、首图生成到LoRA换风格,一站式打通新手卡点,涵盖部署、参数调优与故障排查。(239字)
|
1月前
|
机器学习/深度学习 人工智能 安全
Qwen3.8抢先体验!大家要有心理准备了,正式版即将发布并开源?!
阿里通义实验室发布Qwen3.8抢先体验版,宣布正式版将全面开源!新模型具备动态MoE、Sparse-Tiled Attention、CoT++自验证、UMT多模态融合及高性价比Flash版本,已开源Qwen3.8-27B与Flash。
338 1
|
1月前
|
弹性计算 人工智能 API
阿里云服务器与AI活动汇总:轻量38元、ECS 云服务器99元、GPU 四折、百炼免费Token一篇讲透
2026年,阿里云的优惠已经从单纯的"新用户首年低价"升级为一套覆盖计算、算力、AI的完整体系。轻量应用服务器、ECS云服务器、GPU云服务器、大模型服务平台(百炼)这四类产品,各自都有对应的活动玩法与省钱路径。本文结合全网公开资料,把这四类产品的活动入口、价格档位、参与方式和避坑要点一次性整理清楚,帮你把钱花在刀刃。
247 1
|
1月前
|
弹性计算 运维 安全
阿里云服务器免费领取攻略:个人新用户3个月、学生1年,涵盖个人/学生/企业申领渠道、服务器配置及运维全流程实操指南
免费ECS为零预算群体打开了一扇接触云计算的大门:个人用户最长三个月、学生最长一年,从注册到上手全流程都不复杂。但免费终究有边界,额度和时间到了要么续要么释放,别让账单悄悄产生。拿到机器后第一件事做好安全加固,只开必要端口,把风险降到最低。然后尽情用这台免费算力去部署、去调试、去积累你的云端实战经验。
628 1
|
1月前
|
人工智能 API 开发工具
把 API 包成 MCP server:怎么做、值不值、坑在哪
本文讲API服务商最实际的问题:手上的API要不要包一层MCP?给出三个判断标准,三条实现路线(官方SDK手写/FastMCP从OpenAPI生成/云厂商工具集),以及上线前必须处理的5个细节——工具描述、参数校验、入站鉴权、字段投影、可观测。附首版验收4条标准与投入产出账。
440 2
|
1月前
|
人工智能 IDE 开发工具
VS Code新特性:无缝打通Codex聊天记录
VS Code 新增跨应用对话同步功能:ChatGPT/Codex CLI 中的聊天可实时同步至 VS Code Agents 窗口,反之亦然。开启“Created Externally”即可无缝续聊,支持 Copilot 模型切换续命。同一对话仅允许单端输入,避免冲突——对话终于跟着人走,而非困在某个App里。(239字)
222 1
|
1月前
|
人工智能 监控 API
千问大模型零成本上手教程:网页端 + API 免费额度,完整实操一步到位
千问大模型的免费体验分为网页端和API新人额度两条路径。普通用户通过网页端零配置即可完成文档解析、问答创作;开发者领取API免费Token,通过curl、Python脚本实现模型调用,完成原型开发。使用过程中,开启额度用尽自动停止是重中之重,可以规避意外扣费风险。整套方案可以帮助零基础用户低成本熟悉大模型能力,完成学习、创意创作、AI原型验证等各类需求。
671 0
|
1月前
|
人工智能 自然语言处理 数据挖掘
千问办公积分包用完了,可以单独购买吗?如何收费?
千问办公积分包专为企业版用户设计,2000积分仅100元,有效期12个月,支持按需增购(2000/2万/20万档)。须绑定有效企业席位使用,管理员可统一管控分配。阿里千问办公QwenWork官网:https://t.aliyun.com/U/0VCTGt

热门文章

最新文章