带你读《阿里云产品六月刊》——九、实时数仓Hologres V2.2发布

本文涉及的产品
实时数仓Hologres,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
函数计算FC,每月15万CU 3个月
简介: 实时数仓Hologres V2.2发布

Highlight

新发布Serverless Computing,提升大任务稳定性,同时可降低20%计算成本

引擎性能优化,TPC-H 1TB测试相对V1.X 提升100%

实时湖仓加速架构升级,支持Paimon,直读ORC、Parquet数据性能提升5倍以上

新增实例监控指标,可观测性全面提升,新增SQL指纹、Query洞察、SQL 与表索引诊断等

流量分析场景新增路径函数,支持跨可用区容灾、OpenAPI能力升级

 

升级说明:Hologres支持热升级,可以在实例后台进行自助升级与升级准备。

升级流程请查看>>>

 

一、新发布Serverless Computing,提供大作业隔离与弹性处理

功能说明:

 

通过共享Serverless资源执行DML任务,保证大任务隔离与高可用,降低成本并提升性能。同时支持设置单条SQL使用Serverless的资源上限,支持设置使用Serverless资源的SQL优先级。详细请查看>>>

 

应用场景:

 

隔离与稳定性。计算资源开销大的任务,不会有争抢资源,OOM等问题。

成本降低。无需为大任务单独购买预付费资源,实际应用可降低20%计算成本。

image.png

 

当前发布地域和可用区:华东1(杭州)的可用区J、华南1(深圳)的可用区F、华东2(上海)的可用区E、华北2(北京)的可用区I。

 

二、多种引擎能力优化,TPC-H 性能测试结果提升 100%

Hologres V2.2 提升了查询优化器和查询引擎的能力,1.1 版本使用 96CU 在 TPC-H 1T 的总查询耗时为 223.08 秒,在V2.2版本中,测试结果为111.53 秒,性能提升达到100%。详细结果请查看>>>

 

image.png

引擎性能优化包含:

 

向量执行引擎HQE能力提升

Runtime Filter能力增强,在Join场景上,支持多种过滤类型,无需手动设置,引擎自适应,在减少数据扫描量的同时也能减少join的计算量和数据的网络传输量,有效提升Join的查询效率约30%。

优化HQE的RPC连边机制,每个Worker内数据先合并再进行Worker间分发,显著降低网络开销,在带有Shuffle的场景上,查询性能提升8%。

查询优化器性能提升,SQL在Plan阶段的处理速度提升40%

优化内存分配机制和Join算法,提升多Join场景的查询性能。

优化DATE_PART函数行为,提升对带有时间属性的字段(如年份)的查询效率。

优化DATE和TIMESTAMP类型字段的比较行为,提升时间字段的查询效率。

优化复杂函数中带有Filter的运算行为,通过调整多个Filter的顺序,减少数据计算量,提升查询效率。

三、实时湖仓架构升级,性能提升5倍,外表元数据自动加载提升分析体验

HologresV2.2版本针对实时湖仓架构进行重构,显著提升了数据湖的查询性能,并通过外表元数据自动加载(Auto Load) 提升实时湖仓的用户使用体验。

 

实时湖仓架构升级包含:

 

实现HQE引擎直读OSS上的ORC、Parquet数据,相较于原引擎有5倍以上的性能提升

针对ORC、Parquet格式的外部表支持谓词下推过滤,减少数据扫描量,提升查询效率

支持使用内置高速磁盘和内存实现多级缓存

外表元数据自动加载(Auto Load)能力增强:

 

支持一键绑定外部数据源,实现DB或者schema级别的映射,简化和降低外表创建成本,包含:

支持MaxCompute三层模型Project,可以将MaxCompute三层Project中的一个或多个指定schema 数据按需或者全量映射到Hologres

支持MaxCompute外部表的Schema Evolution(如增加列、删除列、修改列名及列顺序)

支持通过DLF元数据自动加载,来加速查询存储于OSS的数据

详情请查看>>>

 

image.png

 

四、实例诊断能力提升,新增SQL指纹、Query洞察、SQL 与表索引诊断等

新增SQL指纹,快速定位Bad Query

 

SQL指纹是Hologres提供的一种自动Query聚类分析能力。V2.2版本在存放慢Query查询日志的系统表中,新增digest列以展示SQL指纹。对于SELECT/INSERT/DELETE/UPDATE类型的Query,系统会计算一个MD5哈希值作为该Query的SQL指纹,帮助业务快速识别占用资源的Query以及异常Query等。

详情请查看>>>

 

新增Query洞察可视化,全方位获取查询诊断信息

 

在holoweb-诊断与优化中,通过Query ID就能快速获取当前Query的执行信息,例如Query进程的资源消耗、Query所涉及的表的元数据,以及Query对应的执行计划(plan)。同时可以通过Query洞察快速判断当前Query是否产生了DDL冲突,以及表锁情况,辅助业务进一步排查问题和处理问题。

 

详情请查看>>>

 

image.png

 

新增SQL诊断和表索引诊断,快速完成实例治理

 

在holoweb-诊断与优化中,SQL诊断通过对不同维度的Query趋势、明细分析,可以辅助您了解实例的使用情况并做相应的优化,以达到更好的效果。

 

详情请查看>>>

 

image.png

 

在holoweb-诊断与优化中,表索引诊断对当前实例的Table Group、表、索引等进行诊断,帮助业务进行实例治理,从而辅助提升实例的稳定性和性能。例如:

 

一个Table Group的内表总数不建议超过1W张,优化后将提升DDL性能。

对于分区子表超过1W张的分区表,建议使用冷热分层 ,以节约存储成本。

 

详情请查看>>>

image.png

 

实例监控信息新增15+Metrics,可观测性得到增强

 

在实例列表-监控信息中,新增15+metric指标,提供不同执行引擎的QPS、RPS、Latencty等以及可观测Binlog、Serverless等功能的运行情况,以方便及时了解任务的负载。同时也提供Locks、Analyze等健康度指标,可以帮助业务快速观测实例运行健康状态,及时处理异常。

image.png

五、新增路径分析函数,更加丰富流量分析场景函数能力

在流量分析场景,需要计算访问每个流程/步骤的路径分布和情况,以及每个步骤的流入流出情况,原有SQL计算方式较为复杂,并且影响计算性能。Hologres通过一个路径分析函数即可实现路径分析,简化用户路径分析流程,与之前推出的漏斗函数、留存函数、明细圈人函数、Roaring Bitmap函数、BSI函数等结合,实现完整、丰富的流量数据分析方案。

 

详情请查看>>>

 

image.png

六、支持跨可用区容灾,提升生产业务稳定性

跨可用区(AZ)容灾,即在同Region不同可用区部署同构的Hologres容灾实例,如果生产实例所处的地理位置发生自然灾害,或者实例内部出现了故障导致生产实例无法正常对外提供读写服务,那么容灾实例可以切换为生产实例,从而保障业务连续性。

 

详情请查看>>>

 

例如:杭州Region某个可用区(例如可用区H)中的Hologres实例无法正常运行时,可通过已配置的容灾关系,将同Region其他可用区(例如可用区J)的Hologres实例切换为生产实例,保障业务正常运行。

 

七、OpenAPI能力升级,提升实例运维管理能力

新增计算组列表与详情、数据湖加速功能、更新实例资源组等OpenAPI,在severless、数据湖分析等场景下,提升实例运维以及管理能力。

 

详情请查看>>>

 

15000CU时计算包原价5313元,限时新购仅需59元>>>

前往实时数仓Hologres官网查看详情>>>

实时数仓Hologres V2.1版本发布,新增计算组实例构建高可用实时数仓>>>

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
目录
相关文章
|
2月前
|
人工智能 自然语言处理 关系型数据库
阿里云云原生数据仓库 AnalyticDB PostgreSQL 版已完成和开源LLMOps平台Dify官方集成
近日,阿里云云原生数据仓库 AnalyticDB PostgreSQL 版已完成和开源LLMOps平台Dify官方集成。
|
2月前
|
人工智能 分布式计算 数据管理
阿里云位居 IDC MarketScape 中国实时湖仓评估领导者类别
国际数据公司( IDC )首次发布了《IDC MarketScape: 中国实时湖仓市场 2024 年厂商评估》,阿里云在首次报告发布即位居领导者类别。
|
2月前
|
SQL 分布式计算 数据挖掘
加速数据分析:阿里云Hologres在实时数仓中的应用实践
【10月更文挑战第9天】随着大数据技术的发展,企业对于数据处理和分析的需求日益增长。特别是在面对海量数据时,如何快速、准确地进行数据查询和分析成为了关键问题。阿里云Hologres作为一个高性能的实时交互式分析服务,为解决这些问题提供了强大的支持。本文将深入探讨Hologres的特点及其在实时数仓中的应用,并通过具体的代码示例来展示其实际应用。
255 0
|
3月前
|
存储 机器学习/深度学习 监控
阿里云 Hologres OLAP 解决方案评测
随着大数据时代的到来,企业面临着海量数据的挑战,如何高效地进行数据分析和决策变得尤为重要。阿里云推出的 Hologres OLAP(在线分析处理)解决方案,旨在为用户提供快速、高效的数据分析能力。本文将深入探讨 Hologres OLAP 的特点、优势以及应用场景,并针对方案的技术细节、部署指导、代码示例和数据分析需求进行评测。
144 7
|
3月前
|
机器学习/深度学习 DataWorks 数据挖掘
基于阿里云Hologres和DataWorks数据集成的方案
基于阿里云Hologres和DataWorks数据集成的方案
81 7
|
3月前
|
运维 数据挖掘 OLAP
阿里云Hologres:一站式轻量级OLAP分析平台的全面评测
在数据驱动决策的今天,企业对高效、灵活的数据分析平台的需求日益增长。阿里云的Hologres,作为一站式实时数仓引擎,提供了强大的OLAP(在线分析处理)分析能力。本文将对Hologres进行深入评测,探讨其在多源集成、性能、易用性以及成本效益方面的表现。
172 7
|
3月前
|
存储 SQL 分布式计算
Hologres 与阿里云生态的集成:构建高效的数据处理解决方案
【9月更文第1天】随着大数据时代的到来,数据处理和分析的需求日益增长。阿里云作为国内领先的云计算平台之一,提供了多种数据存储和处理的服务,其中Hologres作为一款实时数仓产品,以其高性能、高可用性以及对标准SQL的支持而受到广泛关注。本文将探讨Hologres如何与阿里云上的其他服务如MaxCompute、DataHub等进行集成,以构建一个完整的数据处理解决方案。
103 2
|
4月前
|
分布式计算 安全 OLAP
7倍性能提升|阿里云AnalyticDB Spark向量化能力解析
AnalyticDB Spark如何通过向量化引擎提升性能?
|
4月前
|
人工智能 分布式计算 数据管理
阿里云位居 IDC MarketScape 中国实时湖仓评估领导者类别
国际数据公司(IDC)首度发布《IDC MarketScape: 中国实时湖仓市场 2024 年厂商评估》,阿里云荣登领导者地位。报告评估了13家厂商,涵盖互联网、云服务及大数据领域。阿里云凭借其在实时湖仓领域的创新能力,特别是Apache Paimon及与Flink的集成,实现了高效流批处理和AI增强功能,为企业提供了一体化的湖仓解决方案,支持多种数据管理和AI应用场景,展现出了强大的市场领导力和技术实力。
144 8
|
4月前
|
存储 运维 Cloud Native
"Flink+Paimon:阿里云大数据云原生运维数仓的创新实践,引领实时数据处理新纪元"
【8月更文挑战第2天】Flink+Paimon在阿里云大数据云原生运维数仓的实践
294 3

热门文章

最新文章