实时数仓Hologres V3.1版本发布,Serverless型实例从零开始构建OLAP系统

本文涉及的产品
实时数仓Hologres,5000CU*H 100GB 3个月
简介: Hologres推出Serverless型实例,支持按需计费、无需独享资源,适合新业务探索分析。高性能查询内表及MaxCompute/OSS外表,弹性扩展至512CU,性能媲美主流开源产品。新增Dynamic Table升级、直读架构优化及ChatBI解决方案,助力高效数据分析。

Highlight

  • Down To Zero,Hologres Serverless型实例邀测

Serverless型可从零开始低成本启动OLAP系统建设,完成新业务、新场景的探索性分析与临时性数据分析需求,高性能查询内表与MaxCompute/OSS外表。Serverless型邀测申请>>>Serverless型使用说明>>>

  • 无需购买独享资源,计算资源不使用不收费
  • 用多少算多少,按Query按量计费
  • 当前最大可弹性512CU,性能与独享资源持平
  • TPC-H 1TB 测试对比3.0版本性能再提升33%,Clickbench单表性能基于70%资源下超过Clickhouse、Doris等主流开源产品
  • Serverless Computing支持预估资源自动判断执行,支持更多DML场景、读写内外表加密表、Rebuild、存储过程等
  • Dynamic Table 升级,支持 Auto Refresh,双流/多表 Join,成本更低、性能更高
  • 直读MaxCompute架构升级,性能提升33%,支持直读Delta Table、Append 2.0 Table、动态脱敏表和表的Schema Evolution
  • 联合DataWorks发布ChatBI解决方案,快速完成数据分析报告
  • 计算组支持SQL无损扩缩容,连接闪断
  • 新发布逻辑分区表,灵活易用,减少元数据占用

实例升级说明:https://help.aliyun.com/zh/hologres/user-guide/instance-upgrades


Hologres 3.1版本发布总览

1. Down To Zero,Hologres Serverless型实例邀测

在OLAP分析系统构建时候,一般都需要购买预留资源,为了保证OLAP性能,一般都要从32核开始启动,成本较高,而且由于核数少,很多临时的大查询会打满集群导致OOM,用的人多了资源挤占情况也非常严重。Hologres推出Serverless型可从零开始低成本启动OLAP系统建设,帮助企业快速完成新业务、新场景的探索性分析与临时性数据分析需求,高性能查询内表与MaxCompute/OSS外表。Serverless型邀测申请>>>Serverless型使用说明>>>

  • 无需购买独享资源,计算资源不使用不收费
  • 用多少算多少,按Query按量计费
  • 最大可弹性512CU,性能与独享资源持平

幻灯片5.jpeg

对比固定的独享计算资源,Serverless型在MPP架构下实现了按Query计费,100%完全适应资源负载需求。

在BI分析场景下,Serverless型支持市面主流的BI分析与可视化工具,包含Apache Superset、DataV、DataWorks、FineBI、FineReport、Grafana、Power BI、Qlik、Quick BI、Tableau等。

2. TPC-H 1TB性能再提升33%,单表性能超越CK、Doris等主流开源产品

Hologres每个版本迭代都会进行性能优化,例如2.2版本对比1.1版本提升100%,3.1版本在3.0的基础上再次提升33%,跟随版本更新企业可以享受云上技术红利。

3. Serverless Comuting支持自动判断

Serverless Comuting可以以按量计费的形式稳定运行大查询、大任务,并确保作业之间资源隔离,避免了资源竞争与相互干扰的情况。原本需要单独设置执行,3.1版本可以根据预估计算资源自动判断,在执行之前,如果超过阈值,可以自动使用Serverless Comuting执行,防止突发性流量或者查询打满集群。

3.1版本增加了Serverless Comuting更多的场景,支持更多DML场景、读写内外表加密表、Rebuild、存储过程等

4. Dynamic Table 升级,支持 Auto Refresh,双流/多表 Join

Dynamic Table是Hologres推出了的明式数据处理架构,业务可以根据需求设置不同的数据刷新策略,实现数据从基表对象到Dynamic Table的自动流转,满足业务统一开发、数据自动流转、处理时效性等诉求。原本刷新模式需要手动设置,并且写死为某一种模式。3.1版本可以将模式设定为Auto,如果query支持增量刷新,则优先执行增量刷新,否则退化为全量刷新。同时支持双流多表Join,性能更高,成本更低。

5. 直读MaxCompute架构升级,性能提升33%

MaxCompute与Hologres都是阿里云自研的数仓产品,具备双向高性能直读能力,对比其他组合方案,具备更加易用、高速的实时离线一体化解决方案。3.1版本直读MaxCompute架构升级2.0,对比1.0直读提升33%。同时支持了MaxCompute新推出的Delta Table、Append 2.0 Table、动态脱敏表和表的Schema Evolution等等。

6. 联合DataWorks发布ChatBI解决方案,快速完成数据分析报告

Hologres作为面向分析场景的产品,与DataWorks ChatBI天然结合成解决方案,用户通过提问快速完成智能检索、智能取数、智能绘图、智能总结。

7. 计算组支持SQL无损扩缩容,连接闪断

Hologres在3.1版本全面支持了在实例扩缩容的SQL无损,方便用户在升级时保障业务稳定。


8. 新发布逻辑分区表,灵活易用,减少元数据占用

Hologres 3.1发布逻辑分区表,对比3.0的物理分区表,逻辑辑分区表更加灵活易用,减少元数据占用

9. 其他功能概览



历史版本发布公告:

实时数仓Hologres V3.0全新发布,升级一体化实时湖仓平台>>>

实时数仓Hologres V2.2版本发布,Serverless Computing降本20%>>>

实时数仓Hologres V2.1版本发布,新增计算组实例构建高可用实时数仓>>>

相关实践学习
基于Hologres轻量实时的高性能OLAP分析
本教程基于GitHub Archive公开数据集,通过DataWorks将GitHub中的项⽬、行为等20多种事件类型数据实时采集至Hologres进行分析,同时使用DataV内置模板,快速搭建实时可视化数据大屏,从开发者、项⽬、编程语⾔等多个维度了解GitHub实时数据变化情况。
相关文章
|
8月前
|
分布式计算 运维 搜索推荐
立马耀:通过阿里云 Serverless Spark 和 Milvus 构建高效向量检索系统,驱动个性化推荐业务
蝉妈妈旗下蝉选通过迁移到阿里云 Serverless Spark 及 Milvus,解决传统架构性能瓶颈与运维复杂性问题。新方案实现离线任务耗时减少40%、失败率降80%,Milvus 向量检索成本降低75%,支持更大规模数据处理,查询响应提速。
436 57
|
7月前
|
存储 消息中间件 OLAP
基于 Flink+Paimon+Hologres 搭建淘天集团湖仓一体数据链路
本文整理自淘天集团高级数据开发工程师朱奥在Flink Forward Asia 2024的分享,围绕实时数仓优化展开。内容涵盖项目背景、核心策略、解决方案、项目价值及未来计划五部分。通过引入Paimon和Hologres技术,解决当前流批存储不统一、实时数据可见性差等痛点,实现流批一体存储与高效近实时数据加工。项目显著提升了数据时效性和开发运维效率,降低了使用门槛与成本,并规划未来在集团内推广湖仓一体架构,探索更多技术创新场景。
1464 3
基于 Flink+Paimon+Hologres 搭建淘天集团湖仓一体数据链路
|
9月前
|
SQL 弹性计算 运维
Hologres计算组实例&分时弹性入门实践
本文由骆撷冬(Hologres PD)撰写,围绕Hologres计算组实例与分时弹性的入门实践展开。内容分为三部分:第一部分介绍Hologres计算组实例的原理与架构,解决负载隔离、资源浪费、大任务和运维难题;第二部分演示计算组实例的入门实践,包括管理、授权、连接及监控等操作;第三部分讲解分时弹性的使用,涵盖配置方法、成本优化及监控告警。通过具体案例与操作步骤,帮助用户更好地理解和应用Hologres的弹性计算能力。
|
5月前
|
SQL DataWorks 关系型数据库
DataWorks+Hologres:打造企业级实时数仓与高效OLAP分析平台
本方案基于阿里云DataWorks与实时数仓Hologres,实现数据库RDS数据实时同步至Hologres,并通过Hologres高性能OLAP分析能力,完成一站式实时数据分析。DataWorks提供全链路数据集成与治理,Hologres支持实时写入与极速查询,二者深度融合构建离在线一体化数仓,助力企业加速数字化升级。
|
6月前
|
分布式计算 运维 监控
Fusion 引擎赋能:流利说如何用阿里云 Serverless Spark 实现数仓计算加速
本文介绍了流利说与阿里云合作,利用EMR Serverless Spark优化数据处理的全过程。流利说是科技驱动的教育公司,通过AI技术提升用户英语水平。原有架构存在资源管理、成本和性能等痛点,采用EMR Serverless Spark后,实现弹性资源管理、按需计费及性能优化。方案涵盖数据采集、存储、计算到查询的完整能力,支持多种接入方式与高效调度。迁移后任务耗时减少40%,失败率降低80%,成本下降30%。未来将深化合作,探索更多行业解决方案。
351 1
|
2月前
|
人工智能 运维 Kubernetes
Serverless 应用引擎 SAE:为传统应用托底,为 AI 创新加速
在容器技术持续演进与 AI 全面爆发的当下,企业既要稳健托管传统业务,又要高效落地 AI 创新,如何在复杂的基础设施与频繁的版本变化中保持敏捷、稳定与低成本,成了所有技术团队的共同挑战。阿里云 Serverless 应用引擎(SAE)正是为应对这一时代挑战而生的破局者,SAE 以“免运维、强稳定、极致降本”为核心,通过一站式的应用级托管能力,同时支撑传统应用与 AI 应用,让企业把更多精力投入到业务创新。
443 29
|
3月前
|
存储 人工智能 Serverless
函数计算进化之路:AI 应用运行时的状态剖析
AI应用正从“请求-响应”迈向“对话式智能体”,推动Serverless架构向“会话原生”演进。阿里云函数计算引领云上 AI 应用 Serverless 运行时技术创新,实现性能、隔离与成本平衡,开启Serverless AI新范式。
453 12
|
8月前
|
SQL 分布式计算 Serverless
鹰角网络:EMR Serverless Spark 在《明日方舟》游戏业务的应用
鹰角网络为应对游戏业务高频活动带来的数据潮汐、资源弹性及稳定性需求,采用阿里云 EMR Serverless Spark 替代原有架构。迁移后实现研发效率提升,支持业务快速发展、计算效率提升,增强SLA保障,稳定性提升,降低运维成本,并支撑全球化数据架构部署。
838 56
鹰角网络:EMR Serverless Spark 在《明日方舟》游戏业务的应用
|
6月前
|
存储 编解码 Serverless
Serverless架构下的OSS应用:函数计算FC自动处理图片/视频转码(演示水印添加+缩略图生成流水线)
本文介绍基于阿里云函数计算(FC)和对象存储(OSS)构建Serverless媒体处理流水线,解决传统方案资源利用率低、运维复杂、成本高等问题。通过事件驱动机制实现图片水印添加、多规格缩略图生成及视频转码优化,支持毫秒级弹性伸缩与精确计费,提升处理效率并降低成本,适用于高并发媒体处理场景。
331 0
|
8月前
|
人工智能 开发框架 安全
Serverless MCP 运行时业界首发,函数计算让 AI 应用最后一公里提速
作为云上托管 MCP 服务的最佳运行时,函数计算 FC 为阿里云百炼 MCP 提供弹性调用能力,用户只需提交 npx 命令即可“零改造”将开源 MCP Server 部署到云上,函数计算 FC 会准备好计算资源,并以弹性、可靠的方式运行 MCP 服务,按实际调用时长和次数计费,欢迎你在阿里云百炼和函数计算 FC 上体验 MCP 服务。
719 30

相关产品

  • 实时数仓 Hologres