开源 OLAP 迁移 HSAP 实战（一）|学习笔记

开发者学堂课程【实时数仓 Hologres 实战课程：开源 OLAP 迁移 HSAP 实战（一）】学习笔记，与课程紧密联系，让用户快速学习知识。

课程地址：https://developer.aliyun.com/learning/course/904/detail/14392

开源 OLAP 迁移 HSAP 实战（一）

目录：

一、开源 OLAP 系统现状

二、大数据架构中 OLAP 系统

三、Presto 简介及场景应用

四、Presto 迁移 Hologres 实践

五、Druid 简介及应用场景

六 、Druid 迁移 Hologres 实践

七、ClickHouse 简介及应用场景

八、ClickHouse 迁移 Hologres 实践

九、ClickHouse 迁移 Hologres 实践-数据模型

十、ClickHouse 迁移 Hologres 实践- DDL

十一、ClickHouse 迁移 Hologres 实践-查询

十二、Hologres 升级–客户案例

十三 、新一代技术理念 HSAP:服务、分析一体化

 

一、开源 OLAP 系统现状

 

二、大数据架构中 OLAP 系统

从业务的角度看大数据架构中 OLAP 系统的定位，功能，在业务系统中的作用

用户可能会有一些实时的数据分析，比如淘宝上一些交易的日志，一些浏览的日志，一些点击的日志在这个时候可能会使用 Flink 进行实时的处理，同时把这些数据处理做一些语句和写到类似于 HBase,Cassandra 里面去，然后进行实时的大屏显示。HBase,Cassandra 适合做点查询，但是缺点是不能做复杂的分析

系统对比

Druid/ClickHouse 与 Hologres 对比

 

三、Presto 简介及场景应用

Presto:

Facebook 推出的分布式 SQL 查询引擎基于内存的并行计算提供交互式查询功能

应用场景：Presto

离线加速：Hive 加速

联邦查询：MySQL/MongoDB 等丰富的 connector 扩展

数据湖：s3/OSS

实时数仓（写入/更新/高 QPS)：不支持

应用场景：Hologres

离线加速：MaxCompute/Hive 加速

联邦查询：MaxCompute/Postgres 等丰富的 Postgres FDW 扩展

数据湖：OSS

实时数仓（写入/更新/高 QPS)：支持

四、Presto 迁移 Hologres 实践

 

两者均支持 ANSI SQL，迁移成本低，基本无缝

五、Druid 简介及应用场景

Druid :

自带存储引擎，支持实时数据，并提供亚秒级查询的 OLAP 引擎

Druid适用场景︰

1.时序组织数据（点击，曝光，监控)

2.数据质量要求不高（有可能重复/丢失)

3.海量 append only 数据(不支持更新）

4.单表聚合类查询

Druid 不适用场景

1.高 QPS 明细场景

2.有一致性要求的场景

3.需要更新的场景

4.需要 join 的场景

六 、Druid 迁移 Hologres 实践

数据模型迁移

Druid 所有数据都存储在 dataSource 中 , dataSource 类似于 hologres 的表，本章节介绍 druid 中的数据模型和 Hologres 的数据模型之间的关系以及如何迁移。

Data Schema

Druid 通过 json 的方式来描述一个 dataSource 的 schema , dataSource schema 与 Hologres 的概念映射如下:

 

Druid 迁移 Hologres 实践–DDL

Druid Datasource

"dataSchema": {

" dataSource": "wikipedia",

"timestampSpec":{

"column": "ts"，

"format" : "auto"

},

" dimensionsSpec." : {

"dimensions".: [

{"type" : "string ". " page” },

{ "type" : "string", " language" },

{ "'type" : "long" , "name": "userld" }

]

},

" metricsSpec" : [

{"type": "doubleSum", " name" : "bytes_added_sum","fieldName": " bytes_added"}.

{ "type": "doubleSurm", "name": "bytes_deleted_sum","field Name": " bytes_deleted" }

]

}

Hologres Table

BEGIN;

CREATE TABLE wikipedia (

ts timestamptz,

page text,

language text,

user_id bigint,

bytes_added_sum double precision,

bytes_deleted double precision

);

CALL set_table_property('test", 'segment_key' , 'ts');

--分段列，设成为druid的timestampSpec中指定的列

CALL set_table_property(‘test' , ‘bitmap_columns’ , 'page,

language, user_id' );-- bitmap索引,设成druid的维度列

CALL set_table property('test,'dictionary_encoding columns’

page,language');-- dictionary索引，设成druid维驻度列中的string列

COMMIT;

Druid 迁移 Hologres 实践

Query 迁移

Druid 当前版本支持两种询方式:SQL 查询和 Native 查询，SQI 查询和 Holongres 的 SQL 查询方式类似，在此主要介绍 Native query 到 Hologres 的迁移方式

Druid

Scan 查询

{

"queryType": "scan", "dataSource":

"dataSourceName",

"columns": ['column1", " column2"]. "intervals ":

["0000/3000"]

}

Hologres

SELECT

column1,

column2

FR OM

dataSourceName

Druid 迁移 Hologres 实践–查询

Druid

TOPN 查询:

{

"aggregations": [

{

"fieldName":

"L_QUANTITY_longSum",

"name": "L_QUANTITY_",

"type": "longSum'

}

],

"dataSource" : "tpch_year",

"dimension":"l_orderkey", "granularity" : "all".

"metric": "L_QUANTITY_". "queryType": "topN",

"threshold": 2

Halogres

SELECT

SUM(L_QUANTITY_longSum) AS L_QUANTITY_

FROM

tpch_year

GROUP BY

l_orderkey

ORDER BYL_

QUANTITY_

LIMIT 2

Druid

Timeseries 查询:

{

"queryType" : "timeseries”,

"dataSource": "sample_datasource”,

"granularity": "day",

"descending" : "true“ ,

"filter": [

"type" : "and” ,

"fields": [

{ "type: "selector","dimension": "sample_dimension1". "value":"sample_value1" ].

{ 'type" : "or" ,

"fields": [

{ "type": "selector". "dimension" : "sample_dimension2" , "value":"sample_value2" ],

{ "type" : "selector" , "dimension" : "sample_dimension3", "value":"'sample_value3" }

]

}

]

},

"aggregations": [

{"type" : "longSum", "name": "sample_name1", "fieldName":"sample_fieldName1"}.

i "type" : "doubleSum", "name": "sample_name2", "fieldNarme":"sample_fieldName2"}

] }

],

"intervals ": [ "2012-01-01T00:00:00.000/2012-01-03TO0:00:00.000"]

}

Hologres

SELECT

SUM(sample_fieldNamel) as sample_name1,

SUM(sample_fieldName2) as sample_fieldName2

FROM

sample_datasource

WHERE

sample_dimension1 = 'sample_valuel1'

AND

isample_dimension2 = 'sample_value2'

OR

sample_dimension3 = 'sample_value3'

)

Druid 

GroupBy 直询︰

{

"type": "query" .

'query" : {

"queryType": " groupBy",

"dataSource" : "site_traffic",

"intervals": [" O000/3000"],

"granularity": "all",

"dimensicns: ["page"],

"aggregations": [

{“type" : " count", "name" : "hits"}

]

}

}

Hologres

SELECT

page,

COUNT(*) AS hits

FROM

site_traffic

GROUP BY

Page