Druid数据分离机制与应用

简介: Druid通过Tier机制(Historical节点分组)与Rule机制(按时间/区间加载或删除数据),支持冷热分离、备份冗余、业务隔离等数据分布策略。但需注意:Rule按序执行、单条数据仅匹配一条;过度分离可能降低查询性能,尤其小集群需谨慎。

Druid索引好的数据存放在Historical节点中。随着数据规模扩大,分离数据的需求日益迫切。Druid提供Tier机制与数据加载Rule机制,可实现灵活的数据分布。

Tier机制将Historical节点分组,默认所有节点属于“_default_tier”,可通过配置文件中的“druid.server.tier”参数指定分组。Tier仅针对Historical节点,与datasource无关。

Rule机制是数据分离的基础,针对datasource生效。Rule分Load与Drop两大类,每类又分Period、Interval和Forever三种。应用Rule遵循两个原则:按顺序执行;每条数据只能应用一条Rule。

典型应用场景:

冷热数据分离:将热数据放在配置较好的机器,冷数据放在较差机器。通过Tier分组并配置Rule,近期数据加载到hot组,其余加载到默认组。同时可调整冷数据节点的缓存容量。

备份数据分离:为保证高可用,将数据分布到不同Tier的机器上,配置多副本Rule,避免单机架故障导致不可用。

业务数据分离:优先保障重要业务,将不同业务分配至不同Tier,重要业务配置更多机器资源。

加载部分数据:报表类业务通常只关注近期数据,可配置Rule仅保留最近数据,其余从Historical中删除(Deep Storage中数据保留,删除Rule后可重新加载)。注意Rule顺序,避免误删全部数据。

数据分离对查询效率的影响:Druid通过操作系统Buffer减少IO,并采用分布式查询树增加并行度。数据分离会降低Historical节点并行度,也可能破坏热数据常驻内存的原则,从而影响查询效率。尤其在集群规模较小时影响较大,因此分离数据需谨慎。

相关文章
|
1天前
|
Web App开发 缓存 安全
账号受限率到底该怎么测才不作弊?
本文深度解析多账号管理工具“受限率”的科学测评方法,揭露厂商宣传乱象。指出核心差异在于指纹质量(高真+跨参数自洽)与环境隔离架构(内核级钩子+全链路物理隔离),并提供可复现的50环境A/B测试方案及四大关键选型问题,强调安全与检测能力需同步考量。
|
1天前
|
人工智能 安全 API
智能体缺少操作能力?试试用 RPA 作为执行底座
大模型善思考却缺“手”,RPA则提供稳定执行能力。AI负责理解需求、生成逻辑,RPA专注操作网页、软件、IM等真实系统,支持离线部署、AI自愈、EXE分发与多端协同,实现“AI思考+RPA落地”的高效闭环。
|
5天前
|
Web App开发 安全 应用服务中间件
网站被浏览器报不安全:HTTPS证书链、安全响应头与Mixed Content的排查记录
客户网站突然被浏览器报不安全,排查发现是HTTPS证书链不完整加安全响应头缺失。本文记录了证书链补全、CSP/HSTS等安全响应头配置和Mixed Content修复的完整过程,以及5个实际踩过的坑。
|
5天前
|
存储 人工智能 安全
千问办公网页版使用指南:官网入口、注册送2000积分及免费版配置说明
阿里云千问办公(QwenWork)是AI智能办公平台,支持一句话生成PPT、表格、网页、视频等。注册即赠2000积分,每日登录再得100积分;免费版含1GB存储、5个发布网页、10个并行任务,够个人轻量使用。
347 1
|
3天前
|
人工智能 JavaScript 芯片
DeepSeek 官方偷偷上传 Harness 桌面端安装包,我已经用上了。。附最新下载地址
DeepSeek Harness 官方的桌面端安装包被网友扒出来了,2 分钟讲明白如何使用,体验如何,适合作为 AI 编程工具么?附最新 Windows 和 Mac 双端的下载地址
1140 1
|
6天前
|
存储 监控 安全
数据存储的五个现实问题
本文探讨现代数据存储五大关键挑战:分层存储需智能匹配数据热度与介质;可扩展性要求无缝支持数据持续增长;成本优化须精准识别并控制仅约10%的热点数据;闪存虽提升性能但需防资源滥用;云迁移须警惕网络延迟风险,超半数企业已因延迟回迁业务。
|
6天前
|
数据采集 数据管理 BI
MDM的定位与六项技术挑战
MDM应作为企业级战略工程,而非局部战术扩展。需高层支持、统一规划,构建全企业主数据资源中心。本文剖析MDM六大技术挑战:灵活建模、数据质量治理、变更管理、SOE迁移、全球唯一标识及基础架构整合,强调顶层设计与技术协同的重要性。
|
1天前
|
人工智能 监控 测试技术
「我改完自己试了几个问题,感觉没问题」不算发布记录:给每次 Prompt 上线留一份三段式报告
Prompt作为AI应用的“事实源代码”,却长期缺乏代码级发布管理。本文提出三段式发布报告(变更台账+回归结论+回滚阈值),通过Git版本化、CI自动校验、相对指标比对与强制回滚锚点,将Prompt变更纳入可追溯、可回滚、可复盘的工程闭环,终结靠记忆复盘的裸奔时代。(239字)
「我改完自己试了几个问题,感觉没问题」不算发布记录:给每次 Prompt 上线留一份三段式报告
|
1天前
|
监控 大数据 UED
大数据规划的四个核心要素
成功的大数据规划需聚焦四大核心:应用场景(明确业务优先级)、数据产品(易用、提效)、分析模型(驱动商业洞察)、数据资产(打破孤岛、系统治理)。管理者统筹四者,方能释放数据价值,避免“重技术、轻业务”的常见误区。
|
1天前
|
人工智能 弹性计算 固态存储
阿里云服务器多少钱一年?2026年9月28日最新优惠服务器配置排行榜,共33台!
本文整理2026年9月阿里云服务器最新优惠:涵盖轻量应用服务器、ECS及GPU实例共33款高性价比配置,分入门级、中小企业主力型、高性能/AI算力型三类,并详解新老用户政策、续费同价、学生专享、计费模式等FAQ,助您选对机型、省到极致。(240字)
47 0

热门文章

最新文章