实时数仓Hologres 11月刊

本文涉及的产品
实时数仓Hologres,5000CU*H 100GB 3个月
简介: 实时数仓Hologres (原名交互式分析)2021年11月刊将会为您带来11月产品、技术最新动态,欢迎订阅。

实时数仓Hologres 2021年11月刊将会为您带来11月产品、技术最新动态,欢迎订阅Hologres开发者社区圈子。欢迎详细阅读本次月刊并结合业务进行实践,若需要技术探讨或者任何问题欢迎加入Hologers钉钉群,二维码见文末。

【12月重要通知】

1.交互式分析Hologers正式改名实时数仓Hologres

交互式分析Hologres正式改名实时数仓Hologres,致力于提供海量数据实时写入、实时更新、实时分析等,与MaxCompute、Flink、DataWorks深度融合,提供离在线一体化全栈数仓解决方案。


2.Lighting下线通知

MaxCompute Lightning服务(即使用lightning.cn-*相关Endpoint的服务)由于技术架构变更,将于2021年12月31日00点00分关闭MaxCompute Lightning新服务的开通入口。已存在的MaxCompute Lightning服务目前仍可继续使用,已存在的MaxCompute Lightning将于2022年12月31日00点00分下线。


针对MaxCompute查询加速的交互式分析场景,建议您升级成MaxCompute交互式分析(Hologres),详情请参见迁移公告。MaxCompute交互式分析(Hologres)兼容Postgres协议,原有应用无需修改,查询性能更稳定,功能更丰富,如需咨询相关详情,请添加钉钉群:Lightning迁移支持群(群号:35028911)


【11月重要功能发布】

1.【新功能】资源组隔离计算资源

在V1.1版本,Hologres新增支持使用资源组来助力您管理实例内的计算资源,,通过为不同的用户账号分配不同的计算资源(即CU,包括CPU和内存),限制用户使用计算资源的上限,实现单实例多负载的隔离,保证了用户之间、应用之间作业的互不影响。详情见资源组隔离文档


适用客户:Hologres公共云


2.【新功能】共享存储多实例部署提升高可用

Hologres 从V1.1版本开始,针对线上生产环境高可用的场景,提供了共享存储的多实例部署方式,在该模式下支持故障隔离,负载隔离,有效支撑了高可用场景。在该方案中,主实例具备完整能力,数据可读可写,权限、系统参数可配置,而子实例处于只读状态,所有的变更都通过主实例完成。详情使用见共享存储多实例


适用客户:Hologres公共云


3.【新功能】支持JDBC订阅Hologres binlog

在V0.9版本,Hologres支持Flink订阅Hologres binlog,在V1.1版本,支持JDBC实时消费Hologres Binlog,实现全链路事件驱动。详情使用见jdbc订阅Hologres binlog


适用客户:Hologres公共云


4.【新功能】读取MaxCompute存储加密数据

MaxCompute支持通过密钥管理服务KMS(Key Management Service)对数据进行加密存储,提供数据静态保护能力,满足企业监管和安全合规需求。Hologres与MaxCompure深度打通,支持直接读取maxCompute数据,在V1.1版本,Hologres支持读取MaxCompute加密数据,提升Hologres与MaxCompute的兼容性。详情见读取MC加密数据


适用客户:Hologres公共云


5.【新功能】支持行列混存表

Hologres行存表适用于基于PK的点查场景,列存表适合复杂OLAP查询。在V1.1版本,支持行列混存表,同时适用列存和行存的场景,既支持高效点查也支持OLAP分析,但也带来了更多的存储开销,以及内部数据状态同步的开销。详情见文档建表


适用客户:Hologres公共云


6.【优化】单节点计算内存上限取消20GB限制

Hologres从 V1.1.24版本开始,计算内存取消单节点20GB限制,采用动态调整节点内存。后端会去检查当前节点的内存水位,从而动态分配计算节点的内存,以此保证Query可以运行成功。

同时,1.1版本针对元数据管理内存进行了优化,确保元数据使用的内存降低。因此,升级到1.1.24版本之后,若内存水位不高,query oom的频率将会大大降低,若是执行Query时还报错超内存限制(报错:Query executor exceeded total memory limitation xxxxx: yyyy bytes used),说明内存已完全用到了上限,需要优化SQL或者扩容实例。


说明 一个实例后端由多个节点组成,不同实例规格对应不同节点数,单个节点的内存上限是64GB。内存会分为三部分,三分之一分配给计算,三分之一分配给缓存,三分之一分配给元数据。


适用客户:Hologres公共云


7.【新发布】法兰克福region上线

实时数仓Hologres在德国(法兰克福)商业化发布,增加商品可用区,支持按量付费和包年包月两种付费模式。


适用客户:Hologres公共云


【11月精选文章】



更多阿里巴巴实时数仓Hologres 产品信息,可扫码或者搜索加入实时数仓Hologres交流群(钉钉群号:32324975)。更多精彩请点击官网查看


合集.png

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
相关文章
|
存储 分布式计算 监控
Hologres产品介绍与技术揭秘
近年来,随着数据实时化的诉求加剧,催生了一系列的实时数仓架构,Lambda架构也应运而生,但是随着场景的复杂度和业务多维需求,Lambda架构的痛点也越来越明显。HSAP的理念则是服务分析一体化,在本文中,来自阿里巴巴的资深技术专家将会深度剖析HSAP技术实现Hologres的设计原理,解读其产品典型场景。
13019 0
Hologres产品介绍与技术揭秘
|
1月前
|
存储 消息中间件 OLAP
Hologres+Flink企业级实时数仓核心能力介绍-2024实时数仓Hologres线上公开课03
本次分享由阿里云产品经理骆撷冬(观秋)主讲,主题为“Hologres+Flink企业级实时数仓核心能力”,是2024实时数仓Hologres线上公开课的第三期。课程详细介绍了Hologres与Flink结合搭建的企业级实时数仓的核心能力,包括解决实时数仓分层问题、基于Flink Catalog的Streaming Warehouse实践,并通过典型客户案例展示了其应用效果。
62 10
Hologres+Flink企业级实时数仓核心能力介绍-2024实时数仓Hologres线上公开课03
|
1月前
|
SQL 存储 JSON
实时数仓 Hologres 产品介绍:一体化实时湖仓平台
本次方案的主题是实时数仓 Hologres 产品介绍:一体化实时湖仓平台,介绍了 Hologres 湖仓存储一体,多模式计算一体、分析服务一体和 Data+AI 一体四方面一体化场景,并对其运维监控方面及客户案例进行一定讲解。 1. Hologres :面向未来的一体化实时湖仓 2. 运维监控 3. 客户案例 4. 总结
105 14
|
1月前
|
存储 SQL 运维
Hologres OLAP场景核心能力介绍-2024实时数仓Hologres线上公开课02
本次分享由Hologres产品经理赵红梅(梅酱)介绍Hologres在OLAP场景中的核心能力。内容涵盖OLAP场景的痛点、Hologres的核心优势及其解决方法,包括实时数仓分析、湖仓一体加速、丰富的索引和查询性能优化等。此外,还介绍了Hologres在兼容PG生态、支持多种BI工具以及高级企业级功能如计算组隔离和serverless computing等方面的优势。最后通过小红书和乐元素两个典型客户案例,展示了Hologres在实际应用中的显著效益,如运维成本降低、查询性能提升及成本节省等。
|
8月前
|
SQL 分布式计算 关系型数据库
实时数仓 Hologres产品使用合集之如何连paimon
实时数仓Hologres的基本概念和特点:1.一站式实时数仓引擎:Hologres集成了数据仓库、在线分析处理(OLAP)和在线服务(Serving)能力于一体,适合实时数据分析和决策支持场景。2.兼容PostgreSQL协议:Hologres支持标准SQL(兼容PostgreSQL协议和语法),使得迁移和集成变得简单。3.海量数据处理能力:能够处理PB级数据的多维分析和即席查询,支持高并发低延迟查询。4.实时性:支持数据的实时写入、实时更新和实时分析,满足对数据新鲜度要求高的业务场景。5.与大数据生态集成:与MaxCompute、Flink、DataWorks等阿里云产品深度融合,提供离在线
|
6月前
|
存储 分布式计算 数据挖掘
实时数仓 Hologres 问题之适用于业务场景的实时数仓如何搭建
实时数仓 Hologres 问题之适用于业务场景的实时数仓如何搭建
|
7月前
|
SQL 分布式计算 容灾
|
6月前
|
存储 DataWorks 数据库
实时数仓 Hologres产品使用合集之如何计费
实时数仓Hologres是阿里云推出的一款高性能、实时分析的数据库服务,专为大数据分析和复杂查询场景设计。使用Hologres,企业能够打破传统数据仓库的延迟瓶颈,实现数据到决策的无缝衔接,加速业务创新和响应速度。以下是Hologres产品的一些典型使用场景合集。
|
6月前
|
存储 关系型数据库 分布式数据库
实时数仓 Hologres产品使用合集之对于大量数据的写入,该如何优化
实时数仓Hologres是阿里云推出的一款高性能、实时分析的数据库服务,专为大数据分析和复杂查询场景设计。使用Hologres,企业能够打破传统数据仓库的延迟瓶颈,实现数据到决策的无缝衔接,加速业务创新和响应速度。以下是Hologres产品的一些典型使用场景合集。
|
6月前
|
数据采集 DataWorks 安全
实时数仓 Hologres产品使用合集之如何进行全文检索
实时数仓Hologres是阿里云推出的一款高性能、实时分析的数据库服务,专为大数据分析和复杂查询场景设计。使用Hologres,企业能够打破传统数据仓库的延迟瓶颈,实现数据到决策的无缝衔接,加速业务创新和响应速度。以下是Hologres产品的一些典型使用场景合集。