HSAP 理念与 Hologres 设计原理(二)|学习笔记

本文涉及的产品
实时数仓Hologres,5000CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 快速学习HSAP 理念与 Hologres 设计原理(二)

开发者学堂课程【实时数仓 Hologres 实战课程HSAP 理念与 Hologres 设计原理(二)】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址https://developer.aliyun.com/learning/course/904/detail/14367


HSAP 理念与 Hologres 设计原理(二)


流批统一的存储

image.png

Hologres 的定位是能够做好实时数据与离线数据的存储的。优点是降低了架构复杂度和学习成本。

下图是 Hologres 底层的存储格式示意图:

image.png

Hologres 支持两种存储格式,一种是行存,一种是列存。

查询的特点

极致查询性能

Ø 同时支持行存列存

Ø 纯 C++实现保证稳定的低延迟

Ø 向量化等执行行层优化

Ø 优化的调度保证 SLA

Ø 高并发充分利用计算资源

Ø 基于成本的优化器,针对存储特点高度优化

image.png

技术亮点:

image.png

参考网址:http://www.vldb. org/pvldb/vol13/p3272-jiang. Pdf

交互式分析典型应用场景

l 离线数据查询加速:

对离线数据秒级交互式查询响应,无需额外 ETL 工作,便捷地把冷数据转换成易于理解的分析结果,提升企业决策效率,降低时间成本。

l 实时离线联邦计算:

基于实时计算引擎 RealtimeCompute,离线数仓 MaxCompute 和交互式分析,从商业逻辑出发,实现离线数据分析实时化,实时离线联合分析,构筑实时全链路精细化运营。

l 实时数仓

实时数仓自在通过搭建用户洞察体系,实时检测平台用户情况,并从不同不同视角对用户进行实时诊断,进而采取针对性的用户运营策略,从而达到精细化运营的目的,助力实时精细化运营。

MaxCompute 数仓查询加速解决方案

阿里云大数据计算服务 MaxCompute 经过十年磨砺.已成为阿里巴巴集团数据中台的计算核心和阿里云大数据的基础服务。通过交互式分析引擎加速 Maxcompute 里的海量数据进行高性能低延时的分析查询.为业务发展寻找新的突破点。

客户收益

分析报表实时响应

MaxCompute 数据秒级交互式查询响应,无额外 ETL 工作,便捷地把冷数据转换成易于理解的分析结果。

低成本

直接连接访问 Maxcompute 项目,去除传统方案中不必要的数据导出操作,降低存储成本和维护成本。

简单易用

兼容 PostgreSQL,上手快,分析工具可无缝对接。

 

四,几种典型的应用场景介绍

1)典型应用场景-实时数仓方案

实时数仓解决方案

实时数仓平台旨在通过搭建用户洞察体系,实时监测平台用户情况.并从不同视角对用户进行实时诊断,进而采取针对性的用户运营策略,从而达到精细化用户运营目的。

客户收益

分析报表实时响应

数据实时采集、实时清洗.交互式分析引擎捉供毫秒级交互式查询响应。 

实时业务洞察

实时用户大屏,实时用户圈定和定向投放,精准触达。

简单易用

兼容 PostgreSQL,上手快,分析工具可无缝对接。
(2)典型应用场景-离线+实时联邦分析方案

阿里数据业务基于 Hologres 的结构演进

image.png

 

五,常见的应用案例分析

典型客户案例1(基于实时分析引擎推荐实时分析和算法应用)

image.png

典型客户案例2(基于实时分析引擎行业精细化运营)

image.png

典型客户案例3(基于实时分析引擎构建安全风控系统实时分析)

image.png

实时数仓最佳实践

引擎:

l 选取合适的引擎是整个实时链路成功的关键

l 自带存储非常重要!!!

l 合理分工

² 流 ETL

² 交互式分析

² 离线复杂计算

建模:

l 实时数仓层次要少,大宽表

l 放弃可重复性要求,基于重算而不是缓存历史结果

资源规划:

l 保证资源

l 数据可共通,但资源应相对独立

image.png

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
相关文章
|
2月前
|
存储 缓存 数据处理
深度解析:Hologres分布式存储引擎设计原理及其优化策略
【10月更文挑战第9天】在大数据时代,数据的规模和复杂性不断增加,这对数据库系统提出了更高的要求。传统的单机数据库难以应对海量数据处理的需求,而分布式数据库通过水平扩展提供了更好的解决方案。阿里云推出的Hologres是一个实时交互式分析服务,它结合了OLAP(在线分析处理)与OLTP(在线事务处理)的优势,能够在大规模数据集上提供低延迟的数据查询能力。本文将深入探讨Hologres分布式存储引擎的设计原理,并介绍一些关键的优化策略。
134 0
|
3月前
|
存储 SQL Cloud Native
Hologres 的架构设计与工作原理
【9月更文第1天】随着大数据时代的到来,实时分析和处理数据的需求日益增长。传统的数据仓库在处理大规模实时数据分析时逐渐显露出性能瓶颈。为了解决这些问题,阿里巴巴集团研发了一款名为 Hologres 的新型云原生交互式分析数据库。Hologres 能够支持 SQL 查询,并且能够实现实时的数据写入和查询,这使得它成为处理大规模实时数据的理想选择。
143 2
|
SQL 运维 关系型数据库
分库分表至 Hologres 最佳实践 | 学习笔记
快速学习分库分表至 Hologres 最佳实践
|
SQL 消息中间件 Cloud Native
实时数仓实战|学习笔记
快速学习实时数仓实战
167 0
实时数仓实战|学习笔记
|
存储 NoSQL 数据库
快速上手 Hologres(二)|学习笔记
快速学习快速上手 Hologres(二)
678 0
|
SQL 数据采集 运维
《实时数仓助力互联网实时决策和精准营销》|学习笔记
快速学习《实时数仓助力互联网实时决策和精准营销》
251 0
|
机器学习/深度学习 消息中间件 存储
基于 Apache Flink + Hologres 的实时推荐系统架构解析|学习笔记
快速学习 基于 Apache Flink + Hologres 的实时推荐系统架构解析
658 0
基于 Apache Flink + Hologres  的实时推荐系统架构解析|学习笔记
|
存储 分布式计算 Cloud Native
Hologres 总体架构|学习笔记
快速学习 Hologres 总体架构
456 0
Hologres 总体架构|学习笔记
|
消息中间件 DataWorks Oracle
Hologres 数据导入/导出实践|学习笔记
快速学习 Hologres 数据导入/导出实践
483 0
Hologres 数据导入/导出实践|学习笔记
|
SQL 关系型数据库 Apache
如何使用实时计算 e2e 搭建实时数仓(上)+(下)|学习笔记
快速学习 如何使用实时计算 e2e 搭建实时数仓(上)+(下)
240 0

热门文章

最新文章