实时数仓Hologres 11月刊

本文涉及的产品
实时数仓Hologres,5000CU*H 100GB 3个月
简介: 实时数仓Hologres (原名交互式分析)2021年11月刊将会为您带来11月产品、技术最新动态,欢迎订阅。

实时数仓Hologres 2021年11月刊将会为您带来11月产品、技术最新动态,欢迎订阅Hologres开发者社区圈子。欢迎详细阅读本次月刊并结合业务进行实践,若需要技术探讨或者任何问题欢迎加入Hologers钉钉群,二维码见文末。

【12月重要通知】

1.交互式分析Hologers正式改名实时数仓Hologres

交互式分析Hologres正式改名实时数仓Hologres,致力于提供海量数据实时写入、实时更新、实时分析等,与MaxCompute、Flink、DataWorks深度融合,提供离在线一体化全栈数仓解决方案。


2.Lighting下线通知

MaxCompute Lightning服务(即使用lightning.cn-*相关Endpoint的服务)由于技术架构变更,将于2021年12月31日00点00分关闭MaxCompute Lightning新服务的开通入口。已存在的MaxCompute Lightning服务目前仍可继续使用,已存在的MaxCompute Lightning将于2022年12月31日00点00分下线。


针对MaxCompute查询加速的交互式分析场景,建议您升级成MaxCompute交互式分析(Hologres),详情请参见迁移公告。MaxCompute交互式分析(Hologres)兼容Postgres协议,原有应用无需修改,查询性能更稳定,功能更丰富,如需咨询相关详情,请添加钉钉群:Lightning迁移支持群(群号:35028911)


【11月重要功能发布】

1.【新功能】资源组隔离计算资源

在V1.1版本,Hologres新增支持使用资源组来助力您管理实例内的计算资源,,通过为不同的用户账号分配不同的计算资源(即CU,包括CPU和内存),限制用户使用计算资源的上限,实现单实例多负载的隔离,保证了用户之间、应用之间作业的互不影响。详情见资源组隔离文档


适用客户:Hologres公共云


2.【新功能】共享存储多实例部署提升高可用

Hologres 从V1.1版本开始,针对线上生产环境高可用的场景,提供了共享存储的多实例部署方式,在该模式下支持故障隔离,负载隔离,有效支撑了高可用场景。在该方案中,主实例具备完整能力,数据可读可写,权限、系统参数可配置,而子实例处于只读状态,所有的变更都通过主实例完成。详情使用见共享存储多实例


适用客户:Hologres公共云


3.【新功能】支持JDBC订阅Hologres binlog

在V0.9版本,Hologres支持Flink订阅Hologres binlog,在V1.1版本,支持JDBC实时消费Hologres Binlog,实现全链路事件驱动。详情使用见jdbc订阅Hologres binlog


适用客户:Hologres公共云


4.【新功能】读取MaxCompute存储加密数据

MaxCompute支持通过密钥管理服务KMS(Key Management Service)对数据进行加密存储,提供数据静态保护能力,满足企业监管和安全合规需求。Hologres与MaxCompure深度打通,支持直接读取maxCompute数据,在V1.1版本,Hologres支持读取MaxCompute加密数据,提升Hologres与MaxCompute的兼容性。详情见读取MC加密数据


适用客户:Hologres公共云


5.【新功能】支持行列混存表

Hologres行存表适用于基于PK的点查场景,列存表适合复杂OLAP查询。在V1.1版本,支持行列混存表,同时适用列存和行存的场景,既支持高效点查也支持OLAP分析,但也带来了更多的存储开销,以及内部数据状态同步的开销。详情见文档建表


适用客户:Hologres公共云


6.【优化】单节点计算内存上限取消20GB限制

Hologres从 V1.1.24版本开始,计算内存取消单节点20GB限制,采用动态调整节点内存。后端会去检查当前节点的内存水位,从而动态分配计算节点的内存,以此保证Query可以运行成功。

同时,1.1版本针对元数据管理内存进行了优化,确保元数据使用的内存降低。因此,升级到1.1.24版本之后,若内存水位不高,query oom的频率将会大大降低,若是执行Query时还报错超内存限制(报错:Query executor exceeded total memory limitation xxxxx: yyyy bytes used),说明内存已完全用到了上限,需要优化SQL或者扩容实例。


说明 一个实例后端由多个节点组成,不同实例规格对应不同节点数,单个节点的内存上限是64GB。内存会分为三部分,三分之一分配给计算,三分之一分配给缓存,三分之一分配给元数据。


适用客户:Hologres公共云


7.【新发布】法兰克福region上线

实时数仓Hologres在德国(法兰克福)商业化发布,增加商品可用区,支持按量付费和包年包月两种付费模式。


适用客户:Hologres公共云


【11月精选文章】



更多阿里巴巴实时数仓Hologres 产品信息,可扫码或者搜索加入实时数仓Hologres交流群(钉钉群号:32324975)。更多精彩请点击官网查看


合集.png

相关实践学习
基于Hologres轻量实时的高性能OLAP分析
本教程基于GitHub Archive公开数据集,通过DataWorks将GitHub中的项⽬、行为等20多种事件类型数据实时采集至Hologres进行分析,同时使用DataV内置模板,快速搭建实时可视化数据大屏,从开发者、项⽬、编程语⾔等多个维度了解GitHub实时数据变化情况。
相关文章
|
Linux 调度 数据库
Django使用django-apscheduler实现定时任务
【7月更文挑战第8天】定时任务可以在后台定时执行指定的代码,避免了很多人为操作。下面是在Django项目中如何使用定时任务的具体操作流程
1182 1
|
缓存 Java Maven
Maven基础篇:拉取依赖没有任何报错死活拉不下来
Maven基础篇:拉取依赖没有任何报错死活拉不下来
|
5G 调度 索引
带你读《5G 无线增强设计与国际标准》第二章接入增强2.1 2步随机接入(四)
《5G 无线增强设计与国际标准》第二章接入增强2.1 2步随机接入(四)
带你读《5G 无线增强设计与国际标准》第二章接入增强2.1 2步随机接入(四)
|
XML 存储 缓存
JavaScript 脚本优化的 10 个技巧
现在WEB应用包括网站,几乎都离不开 JavaScript ,可以大胆的说没有不使用JavaScript的WEB应用 。在本文中,将总结一些JavaScript 在 WEB 渲染速度和性能方面优化技巧。
272 0
|
3天前
|
云安全 监控 安全
|
1天前
|
存储 机器学习/深度学习 人工智能
打破硬件壁垒!煎饺App:强悍AI语音工具,为何是豆包AI手机平替?
直接上干货!3000 字以上长文,细节拉满,把核心功能、使用技巧和实测结论全给大家摆明白,读完你就知道这款 “安卓机通用 AI 语音工具"——煎饺App它为何能打破硬件壁垒?它接下来,咱们就深度拆解煎饺 App—— 先给大家扒清楚它的使用逻辑,附上“操作演示”和“🚀快速上手不踩坑 : 4 条核心操作干货(必看)”,跟着走零基础也能快速上手;后续再用真实实测数据,正面硬刚煎饺 App的语音助手口令效果——创建京东「牛奶自动下单神器」口令 ,从修改口令、识别准确率到场景实用性,逐一测试不掺水,最后,再和豆包 AI 手机语音助手的普通版——豆包App对比测试下,简单地谈谈煎饺App的能力边界在哪?
|
8天前
|
机器学习/深度学习 人工智能 自然语言处理
Z-Image:冲击体验上限的下一代图像生成模型
通义实验室推出全新文生图模型Z-Image,以6B参数实现“快、稳、轻、准”突破。Turbo版本仅需8步亚秒级生成,支持16GB显存设备,中英双语理解与文字渲染尤为出色,真实感和美学表现媲美国际顶尖模型,被誉为“最值得关注的开源生图模型之一”。
1072 6