实时数仓Hologres V3.1版本发布,Serverless型实例从零开始构建OLAP系统

本文涉及的产品
实时数仓Hologres,5000CU*H 100GB 3个月
简介: Hologres推出Serverless型实例,支持按需计费、无需独享资源,适合新业务探索分析。高性能查询内表及MaxCompute/OSS外表,弹性扩展至512CU,性能媲美主流开源产品。新增Dynamic Table升级、直读架构优化及ChatBI解决方案,助力高效数据分析。

Highlight

  • Down To Zero,Hologres Serverless型实例邀测

Serverless型可从零开始低成本启动OLAP系统建设,完成新业务、新场景的探索性分析与临时性数据分析需求,高性能查询内表与MaxCompute/OSS外表。Serverless型邀测申请>>>Serverless型使用说明>>>

  • 无需购买独享资源,计算资源不使用不收费
  • 用多少算多少,按Query按量计费
  • 当前最大可弹性512CU,性能与独享资源持平
  • TPC-H 1TB 测试对比3.0版本性能再提升33%,Clickbench单表性能基于70%资源下超过Clickhouse、Doris等主流开源产品
  • Serverless Computing支持预估资源自动判断执行,支持更多DML场景、读写内外表加密表、Rebuild、存储过程等
  • Dynamic Table 升级,支持 Auto Refresh,双流/多表 Join,成本更低、性能更高
  • 直读MaxCompute架构升级,性能提升33%,支持直读Delta Table、Append 2.0 Table、动态脱敏表和表的Schema Evolution
  • 联合DataWorks发布ChatBI解决方案,快速完成数据分析报告
  • 计算组支持SQL无损扩缩容,连接闪断
  • 新发布逻辑分区表,灵活易用,减少元数据占用

实例升级说明:https://help.aliyun.com/zh/hologres/user-guide/instance-upgrades


Hologres 3.1版本发布总览

1. Down To Zero,Hologres Serverless型实例邀测

在OLAP分析系统构建时候,一般都需要购买预留资源,为了保证OLAP性能,一般都要从32核开始启动,成本较高,而且由于核数少,很多临时的大查询会打满集群导致OOM,用的人多了资源挤占情况也非常严重。Hologres推出Serverless型可从零开始低成本启动OLAP系统建设,帮助企业快速完成新业务、新场景的探索性分析与临时性数据分析需求,高性能查询内表与MaxCompute/OSS外表。Serverless型邀测申请>>>Serverless型使用说明>>>

  • 无需购买独享资源,计算资源不使用不收费
  • 用多少算多少,按Query按量计费
  • 最大可弹性512CU,性能与独享资源持平

幻灯片5.jpeg

对比固定的独享计算资源,Serverless型在MPP架构下实现了按Query计费,100%完全适应资源负载需求。

在BI分析场景下,Serverless型支持市面主流的BI分析与可视化工具,包含Apache Superset、DataV、DataWorks、FineBI、FineReport、Grafana、Power BI、Qlik、Quick BI、Tableau等。

2. TPC-H 1TB性能再提升33%,单表性能超越CK、Doris等主流开源产品

Hologres每个版本迭代都会进行性能优化,例如2.2版本对比1.1版本提升100%,3.1版本在3.0的基础上再次提升33%,跟随版本更新企业可以享受云上技术红利。

3. Serverless Comuting支持自动判断

Serverless Comuting可以以按量计费的形式稳定运行大查询、大任务,并确保作业之间资源隔离,避免了资源竞争与相互干扰的情况。原本需要单独设置执行,3.1版本可以根据预估计算资源自动判断,在执行之前,如果超过阈值,可以自动使用Serverless Comuting执行,防止突发性流量或者查询打满集群。

3.1版本增加了Serverless Comuting更多的场景,支持更多DML场景、读写内外表加密表、Rebuild、存储过程等

4. Dynamic Table 升级,支持 Auto Refresh,双流/多表 Join

Dynamic Table是Hologres推出了的明式数据处理架构,业务可以根据需求设置不同的数据刷新策略,实现数据从基表对象到Dynamic Table的自动流转,满足业务统一开发、数据自动流转、处理时效性等诉求。原本刷新模式需要手动设置,并且写死为某一种模式。3.1版本可以将模式设定为Auto,如果query支持增量刷新,则优先执行增量刷新,否则退化为全量刷新。同时支持双流多表Join,性能更高,成本更低。

5. 直读MaxCompute架构升级,性能提升33%

MaxCompute与Hologres都是阿里云自研的数仓产品,具备双向高性能直读能力,对比其他组合方案,具备更加易用、高速的实时离线一体化解决方案。3.1版本直读MaxCompute架构升级2.0,对比1.0直读提升33%。同时支持了MaxCompute新推出的Delta Table、Append 2.0 Table、动态脱敏表和表的Schema Evolution等等。

6. 联合DataWorks发布ChatBI解决方案,快速完成数据分析报告

Hologres作为面向分析场景的产品,与DataWorks ChatBI天然结合成解决方案,用户通过提问快速完成智能检索、智能取数、智能绘图、智能总结。

7. 计算组支持SQL无损扩缩容,连接闪断

Hologres在3.1版本全面支持了在实例扩缩容的SQL无损,方便用户在升级时保障业务稳定。


8. 新发布逻辑分区表,灵活易用,减少元数据占用

Hologres 3.1发布逻辑分区表,对比3.0的物理分区表,逻辑辑分区表更加灵活易用,减少元数据占用

9. 其他功能概览



历史版本发布公告:

实时数仓Hologres V3.0全新发布,升级一体化实时湖仓平台>>>

实时数仓Hologres V2.2版本发布,Serverless Computing降本20%>>>

实时数仓Hologres V2.1版本发布,新增计算组实例构建高可用实时数仓>>>

相关实践学习
基于Hologres轻量实时的高性能OLAP分析
本教程基于GitHub Archive公开数据集,通过DataWorks将GitHub中的项⽬、行为等20多种事件类型数据实时采集至Hologres进行分析,同时使用DataV内置模板,快速搭建实时可视化数据大屏,从开发者、项⽬、编程语⾔等多个维度了解GitHub实时数据变化情况。
相关文章
|
7月前
|
分布式计算 运维 搜索推荐
立马耀:通过阿里云 Serverless Spark 和 Milvus 构建高效向量检索系统,驱动个性化推荐业务
蝉妈妈旗下蝉选通过迁移到阿里云 Serverless Spark 及 Milvus,解决传统架构性能瓶颈与运维复杂性问题。新方案实现离线任务耗时减少40%、失败率降80%,Milvus 向量检索成本降低75%,支持更大规模数据处理,查询响应提速。
405 57
|
6月前
|
存储 消息中间件 OLAP
基于 Flink+Paimon+Hologres 搭建淘天集团湖仓一体数据链路
本文整理自淘天集团高级数据开发工程师朱奥在Flink Forward Asia 2024的分享,围绕实时数仓优化展开。内容涵盖项目背景、核心策略、解决方案、项目价值及未来计划五部分。通过引入Paimon和Hologres技术,解决当前流批存储不统一、实时数据可见性差等痛点,实现流批一体存储与高效近实时数据加工。项目显著提升了数据时效性和开发运维效率,降低了使用门槛与成本,并规划未来在集团内推广湖仓一体架构,探索更多技术创新场景。
1420 3
基于 Flink+Paimon+Hologres 搭建淘天集团湖仓一体数据链路
|
8月前
|
存储 分布式计算 MaxCompute
Hologres实时湖仓能力入门实践
本文由武润雪(栩染)撰写,介绍Hologres 3.0版本作为一体化实时湖仓平台的升级特性。其核心能力包括湖仓存储一体、多模式计算一体、分析服务一体及Data+AI一体,极大提升数据开发效率。文章详细解析了两种湖仓架构:MaxCompute + Hologres实现离线实时一体化,以及Hologres + DLF + OSS构建开放湖仓架构,并深入探讨元数据抽象、权限互通等重点功能,同时提供具体使用说明与Demo演示。
|
8月前
|
SQL 弹性计算 运维
Hologres计算组实例&分时弹性入门实践
本文由骆撷冬(Hologres PD)撰写,围绕Hologres计算组实例与分时弹性的入门实践展开。内容分为三部分:第一部分介绍Hologres计算组实例的原理与架构,解决负载隔离、资源浪费、大任务和运维难题;第二部分演示计算组实例的入门实践,包括管理、授权、连接及监控等操作;第三部分讲解分时弹性的使用,涵盖配置方法、成本优化及监控告警。通过具体案例与操作步骤,帮助用户更好地理解和应用Hologres的弹性计算能力。
|
4月前
|
SQL DataWorks 关系型数据库
DataWorks+Hologres:打造企业级实时数仓与高效OLAP分析平台
本方案基于阿里云DataWorks与实时数仓Hologres,实现数据库RDS数据实时同步至Hologres,并通过Hologres高性能OLAP分析能力,完成一站式实时数据分析。DataWorks提供全链路数据集成与治理,Hologres支持实时写入与极速查询,二者深度融合构建离在线一体化数仓,助力企业加速数字化升级。
|
5月前
|
分布式计算 运维 监控
Fusion 引擎赋能:流利说如何用阿里云 Serverless Spark 实现数仓计算加速
本文介绍了流利说与阿里云合作,利用EMR Serverless Spark优化数据处理的全过程。流利说是科技驱动的教育公司,通过AI技术提升用户英语水平。原有架构存在资源管理、成本和性能等痛点,采用EMR Serverless Spark后,实现弹性资源管理、按需计费及性能优化。方案涵盖数据采集、存储、计算到查询的完整能力,支持多种接入方式与高效调度。迁移后任务耗时减少40%,失败率降低80%,成本下降30%。未来将深化合作,探索更多行业解决方案。
325 1
|
SQL 运维 网络安全
【实践】基于Hologres+Flink搭建GitHub实时数据查询
本文介绍了如何利用Flink和Hologres构建GitHub公开事件数据的实时数仓,并对接BI工具实现数据实时分析。流程包括创建VPC、Hologres、OSS、Flink实例,配置Hologres内部表,通过Flink实时写入数据至Hologres,查询实时数据,以及清理资源等步骤。
|
9月前
|
SQL 消息中间件 Kafka
Flink+Paimon+Hologres,面向未来的一体化实时湖仓平台架构设计
本文介绍了阿里云实时数仓Hologres负责人姜伟华在Flink Forward Asia 2024上的分享,涵盖实时数仓的发展历程、从实时数仓到实时湖仓的演进,以及总结。文章通过三代实时数仓架构的演变,详细解析了Lambda架构、Kafka实时数仓分层+OLAP、Hologres实时数仓分层复用等方案,并探讨了未来从实时数仓到实时湖仓的演进方向。最后,结合实际案例和Demo展示了Hologres + Flink + Paimon在实时湖仓中的应用,帮助用户根据业务需求选择合适的方案。
1388 20
Flink+Paimon+Hologres,面向未来的一体化实时湖仓平台架构设计
|
8月前
|
存储 SQL Java
Flink CDC + Hologres高性能数据同步优化实践
本文整理自阿里云高级技术专家胡一博老师在Flink Forward Asia 2024数据集成(二)专场的分享,主要内容包括:1. Hologres介绍:实时数据仓库,支持毫秒级写入和高QPS查询;2. 写入优化:通过改进缓冲队列、连接池和COPY模式提高吞吐量和降低延迟;3. 消费优化:优化离线场景和分区表的消费逻辑,提升性能和资源利用率;4. 未来展望:进一步简化用户操作,支持更多DDL操作及全增量消费。Hologres 3.0全新升级为一体化实时湖仓平台,提供多项新功能并降低使用成本。
671 1
Flink CDC + Hologres高性能数据同步优化实践
|
10月前
|
SQL 监控 关系型数据库
用友畅捷通在Flink上构建实时数仓、挑战与最佳实践
本文整理自用友畅捷通数据架构师王龙强在FFA2024上的分享,介绍了公司在Flink上构建实时数仓的经验。内容涵盖业务背景、数仓建设、当前挑战、最佳实践和未来展望。随着数据量增长,公司面临数据库性能瓶颈及实时数据处理需求,通过引入Flink技术逐步解决了数据同步、链路稳定性和表结构差异等问题,并计划在未来进一步优化链路稳定性、探索湖仓一体架构以及结合AI技术推进数据资源高效利用。
767 25
用友畅捷通在Flink上构建实时数仓、挑战与最佳实践

相关产品

  • 实时数仓 Hologres