实时数仓Hologres 11月刊

本文涉及的产品
实时数仓Hologres,5000CU*H 100GB 3个月
简介: 实时数仓Hologres (原名交互式分析)2021年11月刊将会为您带来11月产品、技术最新动态,欢迎订阅。

实时数仓Hologres 2021年11月刊将会为您带来11月产品、技术最新动态,欢迎订阅Hologres开发者社区圈子。欢迎详细阅读本次月刊并结合业务进行实践,若需要技术探讨或者任何问题欢迎加入Hologers钉钉群,二维码见文末。

【12月重要通知】

1.交互式分析Hologers正式改名实时数仓Hologres

交互式分析Hologres正式改名实时数仓Hologres,致力于提供海量数据实时写入、实时更新、实时分析等,与MaxCompute、Flink、DataWorks深度融合,提供离在线一体化全栈数仓解决方案。


2.Lighting下线通知

MaxCompute Lightning服务(即使用lightning.cn-*相关Endpoint的服务)由于技术架构变更,将于2021年12月31日00点00分关闭MaxCompute Lightning新服务的开通入口。已存在的MaxCompute Lightning服务目前仍可继续使用,已存在的MaxCompute Lightning将于2022年12月31日00点00分下线。


针对MaxCompute查询加速的交互式分析场景,建议您升级成MaxCompute交互式分析(Hologres),详情请参见迁移公告。MaxCompute交互式分析(Hologres)兼容Postgres协议,原有应用无需修改,查询性能更稳定,功能更丰富,如需咨询相关详情,请添加钉钉群:Lightning迁移支持群(群号:35028911)


【11月重要功能发布】

1.【新功能】资源组隔离计算资源

在V1.1版本,Hologres新增支持使用资源组来助力您管理实例内的计算资源,,通过为不同的用户账号分配不同的计算资源(即CU,包括CPU和内存),限制用户使用计算资源的上限,实现单实例多负载的隔离,保证了用户之间、应用之间作业的互不影响。详情见资源组隔离文档


适用客户:Hologres公共云


2.【新功能】共享存储多实例部署提升高可用

Hologres 从V1.1版本开始,针对线上生产环境高可用的场景,提供了共享存储的多实例部署方式,在该模式下支持故障隔离,负载隔离,有效支撑了高可用场景。在该方案中,主实例具备完整能力,数据可读可写,权限、系统参数可配置,而子实例处于只读状态,所有的变更都通过主实例完成。详情使用见共享存储多实例


适用客户:Hologres公共云


3.【新功能】支持JDBC订阅Hologres binlog

在V0.9版本,Hologres支持Flink订阅Hologres binlog,在V1.1版本,支持JDBC实时消费Hologres Binlog,实现全链路事件驱动。详情使用见jdbc订阅Hologres binlog


适用客户:Hologres公共云


4.【新功能】读取MaxCompute存储加密数据

MaxCompute支持通过密钥管理服务KMS(Key Management Service)对数据进行加密存储,提供数据静态保护能力,满足企业监管和安全合规需求。Hologres与MaxCompure深度打通,支持直接读取maxCompute数据,在V1.1版本,Hologres支持读取MaxCompute加密数据,提升Hologres与MaxCompute的兼容性。详情见读取MC加密数据


适用客户:Hologres公共云


5.【新功能】支持行列混存表

Hologres行存表适用于基于PK的点查场景,列存表适合复杂OLAP查询。在V1.1版本,支持行列混存表,同时适用列存和行存的场景,既支持高效点查也支持OLAP分析,但也带来了更多的存储开销,以及内部数据状态同步的开销。详情见文档建表


适用客户:Hologres公共云


6.【优化】单节点计算内存上限取消20GB限制

Hologres从 V1.1.24版本开始,计算内存取消单节点20GB限制,采用动态调整节点内存。后端会去检查当前节点的内存水位,从而动态分配计算节点的内存,以此保证Query可以运行成功。

同时,1.1版本针对元数据管理内存进行了优化,确保元数据使用的内存降低。因此,升级到1.1.24版本之后,若内存水位不高,query oom的频率将会大大降低,若是执行Query时还报错超内存限制(报错:Query executor exceeded total memory limitation xxxxx: yyyy bytes used),说明内存已完全用到了上限,需要优化SQL或者扩容实例。


说明 一个实例后端由多个节点组成,不同实例规格对应不同节点数,单个节点的内存上限是64GB。内存会分为三部分,三分之一分配给计算,三分之一分配给缓存,三分之一分配给元数据。


适用客户:Hologres公共云


7.【新发布】法兰克福region上线

实时数仓Hologres在德国(法兰克福)商业化发布,增加商品可用区,支持按量付费和包年包月两种付费模式。


适用客户:Hologres公共云


【11月精选文章】



更多阿里巴巴实时数仓Hologres 产品信息,可扫码或者搜索加入实时数仓Hologres交流群(钉钉群号:32324975)。更多精彩请点击官网查看


合集.png

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
相关文章
|
存储 分布式计算 监控
Hologres产品介绍与技术揭秘
近年来,随着数据实时化的诉求加剧,催生了一系列的实时数仓架构,Lambda架构也应运而生,但是随着场景的复杂度和业务多维需求,Lambda架构的痛点也越来越明显。HSAP的理念则是服务分析一体化,在本文中,来自阿里巴巴的资深技术专家将会深度剖析HSAP技术实现Hologres的设计原理,解读其产品典型场景。
12972 0
Hologres产品介绍与技术揭秘
|
3月前
|
存储 分布式计算 数据挖掘
实时数仓 Hologres 问题之适用于业务场景的实时数仓如何搭建
实时数仓 Hologres 问题之适用于业务场景的实时数仓如何搭建
|
3月前
|
存储 DataWorks 数据库
实时数仓 Hologres产品使用合集之如何计费
实时数仓Hologres是阿里云推出的一款高性能、实时分析的数据库服务,专为大数据分析和复杂查询场景设计。使用Hologres,企业能够打破传统数据仓库的延迟瓶颈,实现数据到决策的无缝衔接,加速业务创新和响应速度。以下是Hologres产品的一些典型使用场景合集。
|
4月前
|
SQL 分布式计算 容灾
|
3月前
|
存储 关系型数据库 分布式数据库
实时数仓 Hologres产品使用合集之对于大量数据的写入,该如何优化
实时数仓Hologres是阿里云推出的一款高性能、实时分析的数据库服务,专为大数据分析和复杂查询场景设计。使用Hologres,企业能够打破传统数据仓库的延迟瓶颈,实现数据到决策的无缝衔接,加速业务创新和响应速度。以下是Hologres产品的一些典型使用场景合集。
|
3月前
|
数据采集 DataWorks 安全
实时数仓 Hologres产品使用合集之如何进行全文检索
实时数仓Hologres是阿里云推出的一款高性能、实时分析的数据库服务,专为大数据分析和复杂查询场景设计。使用Hologres,企业能够打破传统数据仓库的延迟瓶颈,实现数据到决策的无缝衔接,加速业务创新和响应速度。以下是Hologres产品的一些典型使用场景合集。
|
6月前
|
存储 运维 监控
飞书深诺基于Flink+Hudi+Hologres的实时数据湖建设实践
通过对各个业务线实时需求的调研了解到,当前实时数据处理场景是各个业务线基于Java服务独自处理的。各个业务线实时能力不能复用且存在计算资源的扩展性问题,而且实时处理的时效已不能满足业务需求。鉴于当前大数据团队数据架构主要解决离线场景,无法承接更多实时业务,因此我们需要重新设计整合,从架构合理性,复用性以及开发运维成本出发,建设一套通用的大数据实时数仓链路。本次实时数仓建设将以游戏运营业务为典型场景进行方案设计,综合业务时效性、资源成本和数仓开发运维成本等考虑,我们最终决定基于Flink + Hudi + Hologres来构建阿里云云原生实时湖仓,并在此文中探讨实时数据架构的具体落地实践。
飞书深诺基于Flink+Hudi+Hologres的实时数据湖建设实践
|
5月前
|
存储 SQL 搜索推荐
一站式实时数仓Hologres整体能力介绍—2024实时数仓Hologres公开课 01
一站式实时数仓Hologres整体能力介绍—2024实时数仓Hologres公开课 01
|
SQL 关系型数据库 MySQL
基于阿里云 Flink+Hologres 搭建实时数仓
本文为您介绍如何通过实时计算 Flink 版和实时数仓 Hologres 搭建实时数仓。
2267 0
基于阿里云 Flink+Hologres 搭建实时数仓
|
搜索推荐 BI Apache
「Flink+Hologres 搭建实时数仓」训练营重磅开启
Flink+Hologres 搭建实时数仓训练营火热报名中!文末有 Flink Forward Asia 2023 赠票福利~
943 0
「Flink+Hologres 搭建实时数仓」训练营重磅开启

热门文章

最新文章

下一篇
无影云桌面