用好阿里云分析型数据库大存储实例,大幅降低大数据应用成本

本文涉及的产品
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
云原生数据仓库AnalyticDB MySQL版,基础版 8ACU 100GB 1个月
简介: 在企业的业务中,经常拥有海量的历史结构化数据,虽然不会高频度的使用,但是不排除会不定期的被检索、查询(检索频率一般在100-1000次每天)。如物联网、交易历史详单查询、监控/日志数据检索等场景。这时企业需要廉价的存储计算方案,但是又不能将数据存储于离线计算系统或归档到对象存储系统,就需要使用分析.

在企业的业务中,经常拥有海量的历史结构化数据,虽然不会高频度的使用,但是不排除会不定期的被检索、查询(检索频率一般在100-1000次每天)。如物联网、交易历史详单查询、监控/日志数据检索等场景。这时企业需要廉价的存储计算方案,但是又不能将数据存储于离线计算系统或归档到对象存储系统,就需要使用分析型数据库的大存储实例了。

SATA、SSD、内存分析混合存储,提供低廉的存储成本(不同规格从0.093元/GB/天到0.051元/GB/天),仅为分析型数据库高性能实例的1/10,而又通过先进的动态二级缓存和分段索引技术提供相对较好的查询检索性能以及与高性能实例等同的数据与服务可用性。

大存储实例工作原理

分析型数据库每一个大存储实例配备内存、SSD缓存和使用SATA盘的分布式存储三级存储设备。用户的数据存储在SATA盘上,具有极低的存储成本。根据用户的查询频度以及获得多个专利的智能缓存算法,分析型数据库将用户高频查询或影响查询性能的关键数据自动换入到SSD缓存甚至内存中以加速用户查询。因此使用大存储实例时用户会发现一份数据前两三次查询较慢,但是随后查询速度便会快了很多,方便用户使用针对历史数据检索后再进行详细研判分析的应用。

另外用户若使用实时写入表,当天写入(一般是前一天20:00至当天20:00,实为未经optimize table的增量数据部分)的数据全部暂存于SSD中,每日自动的optimize table运行后会刷到SATA存储上。

大存储实例适合IO数据量和并发量较低的查询,如筛选率很高的历史数据检索等场景,在一次查询IO较多的情形(如大量数据进行join、全表group by、全表排序等)性能较高性能实例有比较大的差别。另外集群的网络规格会对大存储实例的性能有较大的影响,例如s1n/s2n实例采用双万兆网集群,性能较采用千兆网集群的s1/s2实例好3-5倍。

大存储实例主要应用场景

  • 企业海量历史库,如订单流水、GPS轨迹分析、电信话单检索、日志分析、监控数据检索、物联网传感器数据检索等;
  • 和分析型数据库高性能实例结合使用,近期高频度查询的数据放置在高性能实例(使用最大二级分区数功能管理保存的天数),全量历史数据放置在大存储实例中,应用程序通过用户选择的时间区间确定查询的数据库连接,以同一份代码兼得高性能查询和历史数据低成本存储。

大存储实例应用实战

企业内部BI系统

企业内部BI系统通常具有热点数据集中(近期数据或一段时间内要集中研究的数据集),整体并发较低,对查询响应时间的要求通常也不是很苛刻。所以在成本敏感的情况下,可以全部是使用分析型数据库大存储实例,获得很高的性价比。

基于分析型数据库以及其他阿里云、阿里云"数加"系列产品搭配,提供了企业内部BI的完整解决方案:

1

可以看到阿里云提供了从数据采集、同步,到可视化大屏、BI报表、以及灵活构建用户的CRM/DMP等基于客户维度的分析场景(使用画像分析作为中间件构建)。

冷热数据分离的在线业务系统

大部分大数据业务系统,都具有依时间来区分数据冷热的特征。例如最近3个月的数据是热数据,有很高的查询并发,并且需要很快速的查询响应时间。而三个月之前的数据均是冷数据,可能有累计多年的数据,极少查询但是又不能不提供查询。

这时就可以同时使用分析型数据库的高性能、大存储两个实例,数据同步时双写这两个实例,而利用分析型数据库提供的表最大二级分区数功能,以日期作为大表的二级分区列并在两个实例的表中设置不同的二级分区数(例如高性能实例表90,大存储实例表365),分析型数据库就会自动淘汰超过日期的对应数据,保证高性能实例只有最近90天,大存储实例存储最近一年的数据。

2

分析型数据库的高性能实例和大存储实例的SQL支持完全相同,前端应用只需要根据用户点选的时间区间来决定使用哪一个实例即可,不需要对查询SQL做任何修改,就可以兼得热点数据的高速查询和历史冷数据的低成本存储。

根据业务适配区分存储模式的综合应用

还有一种应用场景是,根据不同的应用类型,选择不同的实例进行处理,这在专有云中非常常见。例如以查询返回列不多(20列以内)的多条件明细查询为主的应用,就比较适合大存储实例(前提是并发不高)。而进行大量的join、union(all)、group by的应用,例如综合研判、复杂的报表或其他高并发要求的应用就比较适合高性能实例。

大存储实例规格说明和定价

47F012A2_0A7E_4B52_87DB_6846F2A31C54

阿里云分析型数据库产品详情:https://www.aliyun.com/product/ads

更多精彩活动:【有“福”同享.第二季】每日一分享,虚机邮箱免费用

相关实践学习
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
目录
相关文章
|
14天前
|
人工智能 关系型数据库 数据库
附部署代码|云数据库RDS 全托管 Supabase服务:小白轻松搞定开发AI应用!
本文通过一个 Agentic RAG 应用的完整构建流程,展示了如何借助 RDS Supabase 快速搭建具备知识处理与智能决策能力的 AI 应用,展示从数据准备到应用部署的全流程,相较于传统开发模式效率大幅提升。
|
14天前
|
存储 关系型数据库 数据库
附部署代码|云数据库RDS 全托管 Supabase服务:小白轻松搞定开发AI应用
本文通过一个 Agentic RAG 应用的完整构建流程,展示了如何借助 RDS Supabase 快速搭建具备知识处理与智能决策能力的 AI 应用,展示从数据准备到应用部署的全流程,相较于传统开发模式效率大幅提升。
附部署代码|云数据库RDS 全托管 Supabase服务:小白轻松搞定开发AI应用
|
23天前
|
消息中间件 NoSQL 数据可视化
数据说了算,可你得“听得快”——聊聊大数据里的实时分析
数据说了算,可你得“听得快”——聊聊大数据里的实时分析
48 2
|
30天前
|
存储 Oracle 关系型数据库
服务器数据恢复—光纤存储上oracle数据库数据恢复案例
一台光纤服务器存储上有16块FC硬盘,上层部署了Oracle数据库。服务器存储前面板2个硬盘指示灯显示异常,存储映射到linux操作系统上的卷挂载不上,业务中断。 通过storage manager查看存储状态,发现逻辑卷状态失败。再查看物理磁盘状态,发现其中一块盘报告“警告”,硬盘指示灯显示异常的2块盘报告“失败”。 将当前存储的完整日志状态备份下来,解析备份出来的存储日志并获得了关于逻辑卷结构的部分信息。
|
2月前
|
数据采集 人工智能 算法
数据没洗干净,分析全白干:聊聊大数据里的“洗澡水”工程
数据没洗干净,分析全白干:聊聊大数据里的“洗澡水”工程
72 1
|
10天前
|
存储 人工智能 数据库
视图是什么?为什么要用视图呢?数据库视图:定义、特点与应用
本文三桥君深入探讨数据库视图的概念与应用,从定义特点到实际价值全面解析。视图作为虚拟表具备动态更新、简化查询、数据安全等优势,能实现多角度数据展示并保持数据库重构的灵活性。产品专家三桥君还分析了视图与基表关系、创建维护要点及性能影响,强调视图是提升数据库管理效率的重要工具。三桥君通过系统讲解,帮助读者掌握这一常被忽视却功能强大的数据库特性。
118 0
|
14天前
|
存储 Java 大数据
Java 大视界 -- Java 大数据在智能家居能源消耗模式分析与节能策略制定中的应用(198)
简介:本文探讨Java大数据技术在智能家居能源消耗分析与节能策略中的应用。通过数据采集、存储与智能分析,构建能耗模型,挖掘用电模式,制定设备调度策略,实现节能目标。结合实际案例,展示Java大数据在智能家居节能中的关键作用。
|
29天前
|
安全 Java Nacos
0代码改动实现Spring应用数据库帐密自动轮转
Nacos作为国内被广泛使用的配置中心,已经成为应用侧的基础设施产品,近年来安全问题被更多关注,这是中国国内软件行业逐渐迈向成熟的标志,也是必经之路,Nacos提供配置加密存储-运行时轮转的核心安全能力,将在应用安全领域承担更多职责。
|
1月前
|
SQL 存储 机器学习/深度学习
基于 Dify + Hologres + QWen3 进行企业级大数据的处理和分析
在数字化时代,企业如何高效处理和分析海量数据成为提升竞争力的关键。本文介绍了基于 Dify 平台与 Hologres 数据仓库构建的企业级大数据处理与分析解决方案。Dify 作为开源大语言模型平台,助力快速开发生成式 AI 应用;Hologres 提供高性能实时数仓能力。两者结合,不仅提升了数据处理效率,还实现了智能化分析与灵活扩展,为企业提供精准决策支持,助力数字化转型。
335 2
基于 Dify + Hologres + QWen3 进行企业级大数据的处理和分析
|
2月前
|
存储 缓存 分布式计算
OSS大数据分析集成:MaxCompute直读OSS外部表优化查询性能(减少数据迁移的ETL成本)
MaxCompute直读OSS外部表优化方案,解决传统ETL架构中数据同步延迟高、传输成本大、维护复杂等问题。通过存储格式优化(ORC/Parquet)、分区剪枝、谓词下推与元数据缓存等技术,显著提升查询性能并降低成本。结合冷热数据分层与并发控制策略,实现高效数据分析。

热门文章

最新文章

相关产品

  • 云原生数据仓库AnalyticDB MySQL版