快速上手Hologres

简介: 本文将会为您介绍如何开通并使用Hologres,并为大家详细介绍在Hologres 中使用SQL开发以及性能调优

点击免费下载
《实时数仓技术入门一本通》>>>

test

也可在PC端打开 https://developer.aliyun.com/topic/download?id=961 下载

一、实例购买与管理

(一)购买Hologres
进入阿里云官网,大家搜索交互式分析产品或者Hologres,就可以进入到产品详情界面,点击立刻购买,就会进入到产品的购买页面;在产品购买页面中我们需要输入实例名称,然后根据实际需求和填写选择商品类型、地域等信息,即可以完成购买。
image.png
(二)管理实例
实例购买完成之后,我们可以在阿里云界面上点击管理控制台进入Hologres管控台。Hologres管控台是专属用于管控Hologres实例,如下图(左)所示。我们可以在管控台查看购买的实例详详情,还可以针对每一个实例进行实例内对象管控,例如新建DB、授权用户等,同时管控台还提供监控告警指标,方便您对实例运行情况做更加细致的管控。整个管控台的界面清晰明了,简单易用,对新手小白也非常的友好,易上手。
image.png

二、SQL 开发教程

在学习Hologres SQL的使用之前我们需要了解Hologres实例内的相关概念:

  • 实例:使用和管理数据库存储服务的实体,一个实例可以看作是多个数据库的合集。
  • 数据库:一个模式的合集,用户所有的操作,包括表、函数等都是在数据库中完成的。系统会在用户完成实例申请后默认创建一个“postgres”的数据库,该DB仅用于运维管理,实际业务需要新建DB。
  • 表:表是数据存储的单元。它在逻辑上是由行和列组成的二维结构,列的数量和顺序是固定的,并且每一列拥有一个名字;行的数目是变化的,它反映了在一个给定时刻表中存储的数据量。
  • 外表:外表是数据实际存储在其他系统里,但是通过Hologres来访问的一类表。Hologres完全兼容postgres的Foreign Data Wrapper,目前使用外表的方式支持直接访问MaxComputer中的数据,加速查询。

(一)连接开发工具
Hologres是一个完全兼容Postgres生态的产品,因此原则上任何能够直接访问Postgres的工具都能够直接连接Hologres,比如JDBC、ODBC等工具。同时,Hologres也提供了HoloStudio、HoloWeb等开发平台,方便用户根据不同的业务需求连接Hologres编写SQL任务,加快开发过程。
image.png
(二)Hologres SQL
Hologres SQL目前兼容开源的PostgresSQL 11,因此用户可以参照Postgres官方文档来编写查询任务,另外,若是在开发过程如果遇到一些问题,也可以很容易的从搜索引擎上找到问题答案。
当前Hologres并未完全兼容Postgres,以下将会介绍Hologres已经兼容的重点SQL语法和功能等。
(1)创建表
Hologres建表的语句是PG(Postgres)的一个子集,使用起来非常方便,一个简单的创建表的例子如下图所示。
 image.png
 
(2)分区表的创建
分区表方便管理数据,并能通过分区裁剪来加快数据的查找。Hologres中分区表的创建依然兼容Postgres语法,使用简便,但是有以下几点注意事项:

  • 不能向父表中插入任何数据;
  • 只有 text/varchar 类型才能作为分区键;
  • Partition by类型仅支持list,切分Partition list只能有一个值;
  • 分区表的数据不会自动删除,需要用户自己管理生命周期。

下图是一个创建分区表的示例:
image.png
 
(3)数据类型
目前Hologres支持大部分Postgres支持的数据类型,如下图所示,并且Hologres支持的数据类型在不断的增加,以便能够满足大家更多的场景需要。关于数据类型的支持情况,可以参考文档数据类型
 image.png

(4)存储属性设置
Hologres与标准Postgres语法在属性设置是不同的。这种属性设置类似其他数据库中的索引,通过合理的设置索引来达到加速查询的效果。
image.png
Hologres目前通过设置set_table_property语法来指定表的额外属性,合理设置table property对于查询的性能影响极大,但是我们需要注意set_table_property的调用需要create table在同一事务中执行,且set_table_property对于同一个key不能重复调用,下面将会来仔细介绍在Hologres中属性的设置以及其适用场景和使用限制。
(1)存储类型设置
Hologres目前支持按行存储和按列存储两种存储类型,我们可以通过orientation来指定存储类型。行存适用于高QPS的基于primary key的点查询,例如where pk=abc,其余场景都应该选用列存方式。下图是两个相应的例子。
 image.png
(2)聚簇索引 Clustering Key
聚簇键类似于传统数据库中的聚簇索引。如果用户设置了clustering key,指定一些列作为聚簇索引,Hologres 会在指定的列上将建立聚簇索引,并且在聚簇索引上对数据进行排序。建立聚簇索引能够加速用户在索引列上的range和filter查询。

  • clustering key创建的时候数据类型不能为float/double,
  • 每个表最多只能有一个clustering key。

 image.png
 
(3)分段键Segment key
聚簇索引主要是对数据进行排序,而分段键Segment key主要是用来帮助Hologres进行一些文件的快速筛选和跳过。用户可以通过设置Segment key 指定一些列(例如,时间列)作为分段键,当查询条件包含分段列时,查询可以通过segment key快速找到相应数据对应的存储位置。

  • segment key要求按照数据输入自增,一般只有时间类型的字段(timestamptz)适合设置为segment key,其他场景基本不需要设置
  • 只有列存表支持分段键设置。

 image.png
 
(4)比特编码列bitmap columns
比特编码列bitmap columns 也是对Hologres性能来说非常重要的一个属性,通过bitmap_columns 指定比特编码列,Hologres 会在这些列上构建比特编码,相当于把数据与对应的行号做一个映射。

  • bitmap可以对segment内部的数据进行快速过滤,因此建议把filter条件的数据建成比特编码。
  • 目前Hologres会默认所有text列都会被隐藏式地设置到bitmap_columns中,
  • 但是只有列存表支持比特编码列。

 image.png
 
(5)字典编码列设置
字典编码主要是对一些字符串类型的列生成字典编码。用户通过设置dictionary_encoding_columns 指定字典编码列,Hologres将为指定列的值构建字典映射。字典编码可以将字符串的比较转成数字的比较,加速group by查询,因此建议用户将group by的字段都建成dictionary_encoding_columns,但是不建议将基数高的列建为dictionary_encoding_columns,会导致查询性能变差。Hologres默认所有 text 列都会被隐式地设置到 dictionary_encoding_columns中,另外需要注意只有列存表支持字典编码列。
 
image.png
 
(6)分布键distribution key
Hologres是一个分布式的计算引擎,如果没有设置分布键,数据库表默认为随机分布形式,数据将被随机分配到各个shard上;如果用户指定了分布列,数据将按照指定列,将数据shuffle到各个shard,同样的数值肯定会在同样的shard中。
当用户以分布列做过滤条件时,Hologres可以直接筛选出数据相关的shard进行扫描;当用户以分布列做join条件时,Hologres不需要再次将数据shuffle到其他计算节点,直接在本节点join本节点数据即可,可以大大提高执行效率;同时如果用户group by的key是分布列也可以减少一次数据shuffle,对整个查询的性能带来非常大的提升。

  • 对于有pk的表,其分布键默认就是pk,如果不想pk字段作为分布键,可以指定pk字段的子集,但是不能随意指定。
  • 可以通过shard_count来指定表的shard数,如果不指定的话每个数据库都有一个默认的shard数, 一旦指定了一个表的shard数,其他的表如果想要和这个表做local join,就必须指定colcate with这个表。下图所示是一个通过分布键设置来加速两个表做join的场景。

 image.png
 
(7)数据生命周期管理time_to_live_in_seconds
Hologres目前提供了time_to_live_in_seconds来帮助管理数据的生命周期,其默认单位是秒,必须是非负数字类型。
表数据的TTL并不是精确的时间,当超过设置的TTL后,系统会在某一个时间自动删除表数据,因此业务逻辑不能强依赖TTL,以免带来不必要的损失。
 image.png
 

三、性能调优

下面是一个两个表关联查询的优化案例。这里我们有tmp1和tmp2两个表,其中temp1有1000条记录,temp2有1亿条记录,两个表join查询的query如下:

select count(1) from tmp1 join tmp2 on tmp1.a = tmp2.a

在查询之前,我们通过explain来查看执行计划,如下图所示:
 image.png
 
通过查看执行计划,我们可以对整个查询过程更加了解,发现其中可以进行优化的地方,比如从上图可以看出整个查询计划并没有拿到表的相应统计信息,这种情况下会导致整个查询计划性能较差。
通过实验,上面的查询计划在不进行调优的情况下整个过程需要约8.5秒的时间。接下来我们通过analyze来帮助Hologres生成优化器需要的统计信息,其操作非常简单,只需要执行如下两行命令即可:

analyze tmp1;
analyze tmp2;

在生成了统计信息之后我们再次通过explain查看执行计划:
image.png
 
从上图中可以看到,在analyze之后,整个查询计划已经发生了改变:

  • 更新了整个表的真实行数,并且对整个查询计划做了相应调整;
  • join顺序从tmp1 join tmp2变成了tmp2 join tmp1,降低了资源消耗。

在经过上面的优化之后,再次执行相同的查询,发现整个查询过程只用了500ms,整个查询性能大大提升,而我们所做的操作也仅仅是生成了整个表的查询信息,就获得了10倍以上的优化效果。这也说明整个查询的统计信息对查询性能有着至关重要的影响,因此大家今后在导入数据之后可以生成一下统计信息,以便更好的执行查询计划。
更多关于性能调优的方式,大家可以参考文档性能调优
 
关键词:Hologres,实时数仓,Postgres,PostgreSQL
 

相关实践学习
基于Hologres+PAI+计算巢,5分钟搭建企业级AI问答知识库
本场景采用阿里云人工智能平台PAI、Hologres向量计算和计算巢,搭建企业级AI问答知识库。通过本教程的操作,5分钟即可拉起大模型(PAI)、向量计算(Hologres)与WebUI资源,可直接进行对话问答。
相关文章
|
存储 SQL 缓存
使用实践:Hologres对接MaxCompute常见问题排查
本文总结了Hologres对接MaxCompute时的常见问题与处理方法。
3009 3
使用实践:Hologres对接MaxCompute常见问题排查
|
11月前
《阿里云产品手册2022-2023 版》——实时数仓Hologres
《阿里云产品手册2022-2023 版》——实时数仓Hologres
114 0
|
SQL 分布式计算 Oracle
阿里云-数仓 数据开发神器-ODPS(MaxCompute)的组成对象
阿里云-数仓 数据开发神器-ODPS(MaxCompute)的组成对象
|
SQL 存储 分布式计算
分库分表至 MaxCompute 实践 | 学习笔记
快速学习分库分表至 MaxCompute 实践
155 0
|
存储 NoSQL 数据库
快速上手 Hologres(二)|学习笔记
快速学习快速上手 Hologres(二)
573 0
|
存储 SQL 运维
快速上手 Hologres(一)|学习笔记
快速学习 快速上手 Hologres(一)
625 0
快速上手 Hologres(一)|学习笔记
|
存储 关系型数据库 MySQL
Hologres 性能调优实践|学习笔记
快速学习 Hologres 性能调优实践
484 0
|
存储 NoSQL Linux
表格存储快速上手准备
表格存储 Tablestore 提供了阿里云控制台、命令行工具、Tablestore SDK 三种访问方式。本章节将为您介绍表格存储命令行工具( Tablestore CLI )的使用方法。通过命令行工具,您使用简单的命令体验表格存储服务。在使用 Tablestore CLI 工具之前,您需要做以下准备工作。
415 0
表格存储快速上手准备
|
SQL 负载均衡 NoSQL
表格存储快速上手-宽表模型
宽表模型是(Wide column) Tablestore 采用的几个模型之一。宽表模型是 Schema-free 的,创建一张宽表仅需要定义 1-4个主键 结构,无需定义属性列结构,在插入数据时添加任意多个属性列即可。主键列表中第一个主键将作为分区键,按照分区键值的范围将数据负载均衡到多个分区 (Partition) 中。
711 0
表格存储快速上手-宽表模型
|
SQL 分布式计算 DataWorks
实时数仓入门训练营:Hologres 数据导入/导出实践
《实时数仓入门训练营》由阿里云研究员王峰、阿里云高级产品专家刘一鸣等实时计算Flink版和 Hologres 的多名技术/产品一线专家齐上阵,合力搭建此次训练营的课程体系,精心打磨课程内容,直击当下同学们所遇到的痛点问题。由浅入深全方位解析实时数仓的架构、场景、以及实操应用,7 门精品课程帮助你 5 天时间从小白成长为大牛!
实时数仓入门训练营:Hologres 数据导入/导出实践