开发者学堂课程【实时数仓 Hologres 实战课程:HSAP 理念与 Hologres 设计原理(二)】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/904/detail/14367
HSAP 理念与 Hologres 设计原理(二)
流批统一的存储
Hologres 的定位是能够做好实时数据与离线数据的存储的。优点是降低了架构复杂度和学习成本。
下图是 Hologres 底层的存储格式示意图:
Hologres 支持两种存储格式,一种是行存,一种是列存。
查询的特点:
极致查询性能
Ø 同时支持行存列存
Ø 纯 C++实现保证稳定的低延迟
Ø 向量化等执行行层优化
Ø 优化的调度保证 SLA
Ø 高并发充分利用计算资源
Ø 基于成本的优化器,针对存储特点高度优化
技术亮点:
参考网址:http://www.vldb. org/pvldb/vol13/p3272-jiang. Pdf
交互式分析典型应用场景
l 离线数据查询加速:
对离线数据秒级交互式查询响应,无需额外 ETL 工作,便捷地把冷数据转换成易于理解的分析结果,提升企业决策效率,降低时间成本。
l 实时离线联邦计算:
基于实时计算引擎 RealtimeCompute,离线数仓 MaxCompute 和交互式分析,从商业逻辑出发,实现离线数据分析实时化,实时离线联合分析,构筑实时全链路精细化运营。
l 实时数仓
实时数仓自在通过搭建用户洞察体系,实时检测平台用户情况,并从不同不同视角对用户进行实时诊断,进而采取针对性的用户运营策略,从而达到精细化运营的目的,助力实时精细化运营。
MaxCompute 数仓查询加速解决方案
阿里云大数据计算服务 MaxCompute 经过十年磨砺.已成为阿里巴巴集团数据中台的计算核心和阿里云大数据的基础服务。通过交互式分析引擎加速 Maxcompute 里的海量数据进行高性能低延时的分析查询.为业务发展寻找新的突破点。
客户收益
分析报表实时响应
MaxCompute 数据秒级交互式查询响应,无额外 ETL 工作,便捷地把冷数据转换成易于理解的分析结果。
低成本
直接连接访问 Maxcompute 项目,去除传统方案中不必要的数据导出操作,降低存储成本和维护成本。
简单易用
兼容 PostgreSQL,上手快,分析工具可无缝对接。
四,几种典型的应用场景介绍
(1)典型应用场景-实时数仓方案
实时数仓解决方案
实时数仓平台旨在通过搭建用户洞察体系,实时监测平台用户情况.并从不同视角对用户进行实时诊断,进而采取针对性的用户运营策略,从而达到精细化用户运营目的。
客户收益
分析报表实时响应
数据实时采集、实时清洗.交互式分析引擎捉供毫秒级交互式查询响应。
实时业务洞察
实时用户大屏,实时用户圈定和定向投放,精准触达。
简单易用
兼容 PostgreSQL,上手快,分析工具可无缝对接。
(2)典型应用场景-离线+实时联邦分析方案
阿里数据业务基于 Hologres 的结构演进
五,常见的应用案例分析
典型客户案例1(基于实时分析引擎推荐实时分析和算法应用)
典型客户案例2(基于实时分析引擎行业精细化运营)
典型客户案例3(基于实时分析引擎构建安全风控系统实时分析)
实时数仓最佳实践
引擎:
l 选取合适的引擎是整个实时链路成功的关键
l 自带存储非常重要!!!
l 合理分工
² 流 ETL
² 交互式分析
² 离线复杂计算
建模:
l 实时数仓层次要少,大宽表
l 放弃可重复性要求,基于重算而不是缓存历史结果
资源规划:
l 保证资源
l 数据可共通,但资源应相对独立