Druid数据分离机制与应用

简介: Druid通过Tier机制(Historical节点分组)与Rule机制(按时间/区间加载或删除数据),支持冷热分离、备份冗余、业务隔离等数据分布策略。但需注意:Rule按序执行、单条数据仅匹配一条;过度分离可能降低查询性能,尤其小集群需谨慎。

Druid索引好的数据存放在Historical节点中。随着数据规模扩大,分离数据的需求日益迫切。Druid提供Tier机制与数据加载Rule机制,可实现灵活的数据分布。

Tier机制将Historical节点分组,默认所有节点属于“_default_tier”,可通过配置文件中的“druid.server.tier”参数指定分组。Tier仅针对Historical节点,与datasource无关。

Rule机制是数据分离的基础,针对datasource生效。Rule分Load与Drop两大类,每类又分Period、Interval和Forever三种。应用Rule遵循两个原则:按顺序执行;每条数据只能应用一条Rule。

典型应用场景:

冷热数据分离:将热数据放在配置较好的机器,冷数据放在较差机器。通过Tier分组并配置Rule,近期数据加载到hot组,其余加载到默认组。同时可调整冷数据节点的缓存容量。

备份数据分离:为保证高可用,将数据分布到不同Tier的机器上,配置多副本Rule,避免单机架故障导致不可用。

业务数据分离:优先保障重要业务,将不同业务分配至不同Tier,重要业务配置更多机器资源。

加载部分数据:报表类业务通常只关注近期数据,可配置Rule仅保留最近数据,其余从Historical中删除(Deep Storage中数据保留,删除Rule后可重新加载)。注意Rule顺序,避免误删全部数据。

数据分离对查询效率的影响:Druid通过操作系统Buffer减少IO,并采用分布式查询树增加并行度。数据分离会降低Historical节点并行度,也可能破坏热数据常驻内存的原则,从而影响查询效率。尤其在集群规模较小时影响较大,因此分离数据需谨慎。

相关文章
|
2月前
|
人工智能 自然语言处理
AI模型上下文长度是什么意思?AI 大模型 128k/256k/1M 到底有多强?一文讲透
上下文长度指大模型单次能处理的最大Token数(含输入+输出),决定其记忆与理解长文本能力。128K≈16万汉字,1M可达百万级,支持书籍、代码库等超长内容处理。在阿里云百炼官网:https://t.aliyun.com/U/fPVHqY 免费领取千万Tokens
465 3
|
2月前
|
弹性计算 人工智能 编解码
最新版阿里云服务器收费价格表(轻量/ECS/GPU):一年、1个月与小时费用清单,计费拆解与选型指南
本指南基于2026年9月阿里云最新产品线,详解轻量服务器、ECS(u1/c7/r7/t6等)、GPU实例价格与选型逻辑。含包年/月/小时参考价、带宽计费差异、系统盘/快照等隐形成本,并提供新用户秒杀建议及五步决策树,助您高性价比上云。(239字)
489 1
|
2月前
|
大数据 数据挖掘
调研为何难以被大数据取代:四大优势与协作场景
尽管大数据迅猛发展,传统调研仍具不可替代价值:主动触达沉默用户、直观呈现典型个案、深入挖掘人性动因、全面覆盖网络盲区,与数据分析形成互补优势。
|
2月前
|
监控 大数据 UED
大数据规划的四个核心要素
成功的大数据规划需聚焦四大核心:应用场景(明确业务优先级)、数据产品(易用、提效)、分析模型(驱动商业洞察)、数据资产(打破孤岛、系统治理)。管理者统筹四者,方能释放数据价值,避免“重技术、轻业务”的常见误区。
|
2月前
|
Web App开发 缓存 安全
账号受限率到底该怎么测才不作弊?
本文深度解析多账号管理工具“受限率”的科学测评方法,揭露厂商宣传乱象。指出核心差异在于指纹质量(高真+跨参数自洽)与环境隔离架构(内核级钩子+全链路物理隔离),并提供可复现的50环境A/B测试方案及四大关键选型问题,强调安全与检测能力需同步考量。
|
2月前
|
人工智能 安全 API
智能体缺少操作能力?试试用 RPA 作为执行底座
大模型善思考却缺“手”,RPA则提供稳定执行能力。AI负责理解需求、生成逻辑,RPA专注操作网页、软件、IM等真实系统,支持离线部署、AI自愈、EXE分发与多端协同,实现“AI思考+RPA落地”的高效闭环。
|
2月前
|
人工智能 监控 测试技术
「我改完自己试了几个问题,感觉没问题」不算发布记录:给每次 Prompt 上线留一份三段式报告
Prompt作为AI应用的“事实源代码”,却长期缺乏代码级发布管理。本文提出三段式发布报告(变更台账+回归结论+回滚阈值),通过Git版本化、CI自动校验、相对指标比对与强制回滚锚点,将Prompt变更纳入可追溯、可回滚、可复盘的工程闭环,终结靠记忆复盘的裸奔时代。(239字)
「我改完自己试了几个问题,感觉没问题」不算发布记录:给每次 Prompt 上线留一份三段式报告
|
2月前
|
人工智能 前端开发 安全
Java 后端如何驯服会幻觉的 Agent?用 n8n 打造确定性工作流,Token 直降 80%
本文揭秘企业级AI Agent落地痛点:幻觉、高Token成本、流程不可控。提出“AI管意图,n8n管执行”架构,融合MCP协议、Skill路由与n8n工作流,实现零幻觉、省80% Token、凭证隔离、全流程可视化——让大模型专注理解,工程系统保障确定性。
217 0
Java 后端如何驯服会幻觉的 Agent?用 n8n 打造确定性工作流,Token 直降 80%
|
2月前
|
JSON 小程序 前端开发
银行卡归属地/开户行/卡类型查询 API 接入实战
本文介绍银行卡归属地、开户行与卡类型查询接口的能力与工程接入方式:输入卡号即可返回归属地区、发卡行名称、卡种、卡品牌、银行联系电话与官网,并可选返回 BIN 码及银联 Luhn 效验结果。覆盖全国 500 余家银联渠道银行,未查到归属地不收费。教程包含接入流程、参数说明、调用示例、完整 JSON 返回结构、在线调试实录、调用限制与合规要点、错误码排查及技术 FAQ,适合在资金结算、风控校验、小程序与 APP 绑卡等场景中作为一次通用的卡信息解析能力集成。
263 0
银行卡归属地/开户行/卡类型查询 API 接入实战
|
2月前
|
人工智能 测试技术 Python
Python读取配置值时区分缺失和空字符串
Python读取配置值时区分缺失和空字符串,可以先从一组容易手工核对的小样本开始。把需要处理的对象、采用的方法和检查结果分别记录,能帮助我们发现遗漏。下面的步骤着重说明边界和复查方
Python读取配置值时区分缺失和空字符串