无需导出,Hologres加速查询MaxCompute限时5折

本文涉及的产品
实时数仓Hologres,5000CU*H 100GB 3个月
简介: Hologres共享集群(湖仓加速版)提供Severless的在线查询加速服务,基于存算分离的架构,针对MaxCompute交互式分析场景,无需将数据导出,即可将查询性能提升数十倍以上。

Hologres共享集群(湖仓加速版)提供Severless的在线查询加速服务,基于存算分离的架构,针对MaxCompute交互式分析场景,无需将数据导出,即可将查询性能提升数十倍以上。

  • 截止2024年4月1日,Hologres共享集群(湖仓加速版)限时5折,开通地址>

查询优势:

性能提升:针对湖仓查询,性能提升数十倍(来源客户测试数据)

使用灵活:按量计费,不查询不收费,可使用消费预警进行查询用量管控

架构简化:无需数据移动,保持数据一致性,维护及存储成本更低

湖仓支持:除了MaxCompute,也可以加速查询OSS、DLF


Hologres共享集群(湖仓加速版)加速查询MaxCompute

使用准备

使用流程

  1. 购买实例。
  1. 使用阿里云主账号登录阿里云官网
  2. 进入Hologres产品详情页
  3. 单击立即购买,进入购买页面。
  4. 商品类型选择共享集群(湖仓加速版),输入实例名称,选择目标地域,单击立即购买
  1. 新建数据库。成功购买实例后,您可以进入Hologres的管理控制台,查看实例状态。成功创建实例后,系统默认生成一个名为postgres的数据库,用于监控管理,实际业务需要您新建数据库,操作如下:
  1. 实例列表页面,单击实例名称。您也可以单击目标实例操作列的管理,进入实例详情页。
  2. 在实例详情页左侧导航栏,单击数据库管理
  3. DB授权页面,单击新增数据库
  4. 新增数据库对话框,选择实例名,输入数据库名称,并根据实际业务选择是否开启简单权限模型Hologres为您提供了专家模式授权简单权限模型两套授权体系。专家模式授权与PostgreSQL的权限模型完全一致,简称专家模式,详情请参见专家权限模型简单权限模型是Hologres基于实际业务,为了简化授权操作而抽象的一套简单权限模型(SPM),详情请参见简单权限模型概述创建数据库时,为了方便权限管理,建议您开启简单权限模型
  5. 单击确认您可以在DB授权页面,查看已创建的数据库。
  1. 连接开发工具。Hologres兼容Postgres,提供JDBC/ODBC Driver。新建数据库后,您可以使用实例连接开发工具进行数据开发。您可以根据业务需求选择合适的开发工具,详情请参见概述本次试验以Hologres的自研开发工具HoloWeb为您演示,如何使用实例连接开发工具,步骤如下:
  1. 在Hologres管理控制台的概览页面,单击前往HoloWeb,进入HoloWeb开发界面。
  2. 单击元数据管理>连接实例
  3. 配置连接实例对话框的参数。

参数

描述

是否必选

网络类型

      • 公网:支持华东2(上海)、华南1(深圳)、华北2(北京)、华东1(杭州)、亚太东南1(新加坡)、中国(香港)、亚太东南3(吉隆坡)及美国西部1(硅谷)等地域。图标的为公网类型的实例。
      • VPC:仅支持配置为HoloWeb所登录的地域。图标的为VPC类型的实例,该实例不支持编辑详细信息和删除。

实例名称

选择当前账号已创建的实例。

名称

选择实例名称后,连接名称默认显示为所选实例的名称。您也可以重新自定义连接名称。

描述

连接的描述信息。

域名

Hologres实例的网络域名。您可以进入Hologres管理控制台

的实例详情页,从网络信息中获取域名。如果您配置了实例名称,则系统自动为您匹配该实例的域名。您也可以选择手动输入域名。

端口

Hologres实例的网络端口。您可以进入Hologres管理控制台

的实例详情页,从网络信息获取端口。如果您配置了实例名称,则系统自动为您匹配该实例的端口。您也可以选择手动输入端口地址。

登录方式

      • 当前账户免密登录:无需输入账号及密码,直接使用当前账户登录。
      • 账户密码登录:您可以输入自己或者其他账户的账号及密码,并登录。

账号

登录方式配置为账户密码登录时,需要配置该参数。当前账号的AccessKey ID。您可以单击AccessKey 管理

,获取AccessKey ID。

密码

登录方式配置为账户密码登录时,需要配置该参数。当前账号的AccessKey Secret。您可以单击AccessKey 管理

,获取AccessKey Secret。

测试连通性

检测连接是否成功:

      • 显示测试通过表示连接成功。
      • 显示测试不通过表示连接失败。

连接后登录

您可以选择是否登录该实例。

      • :该实例会登录并展示在左侧已登录实例列表中。
      • :该实例会展示在左侧未登录实例列表中。

  1. 单击确定
  1. MaxCompute加速查询。实例成功连接HoloWeb后,您可以创建外部表,加速查询MaxCompute的数据。本次实验以在HoloWeb中新建外部表查询MaxCompute公共数据集中public_data项目的表数据为例,步骤如下:说明获取表的方法请参见公开数据集
  1. 新建外部表。
  1. 单击元数据管理>MaxCompute加速>创建外部表,使用可视化的方式创建外部表。
  2. 新建外部表的编辑页面,配置各项参数。

参数

描述

模式

模式名称。您可以选择默认创建的public模式,也可以选择新建的模式名称。

表名

新建的Hologres外部表名称。输入目标MaxCompute表名后,将会自动创建同名外部表。在创建时不支持更改表名,如果您需要更改表名,可以在外部表创建成功后,在已登录实例列表中右键单击目标表进行修改。

描述

新建的Hologres外部表描述。

类型

外部表类型。目前仅支持MaxCompute。

服务器列表

您可以直接调用Hologres底层已创建的名为odps_server的外部表服务器。详细原理请参见Postgres FDW

MaxCompute的项目名和表名。格式为project.table_name说明

        • 目前暂不支持跨地域查询外部表数据。
        • 输入表名称后,会显示外部源表的所有字段,创建外部表时也将会默认创建所有字段。如果您需要创建部分字段,请使用SQL语句创建外部表,请参见CREATE FOREIGN TABLE
  1. 输入MaxCompute表的名称,就可以索引出表的字段,您可以根据实际业务,选择需要同步的表字段,单击提交
  1. 您也可以新建一个Query查询窗口,使用SQL语句批量创建外部表。示例语句如下。创建Query查询窗口请参见SQL窗口
  2. 预览外部表数据。成功新建外部表后,在元数据管理页面左侧实例管理目录下,鼠标双击新建的外部表,在表编辑页面单击数据预览,查看MaxCompute表的数据。您也可以在Query查询模块中新建SQL窗口,使用SQL命令批量创建外部表,创建SQL窗口详情请参见SQL窗口。批量创建外部表的示例语句如下。
  3. 加速查询外部表数据。加速查询外部表数据的示例SQL语句如下。
  1. 连接BI工具进行可视化分析。Hologres兼容Postgres,支持直接对接BI工具。新建外部表加速查询MaxCompute后,您可以根据业务情况选择连接合适的BI工具,进行可视化分析。Hologres支持的BI工具请参见概述本次实验以Quick BI为例,为您介绍如何连接BI工具。步骤如下:
  1. 登录Quick BI管理控制台
  2. 添加数据源。添加Hologres数据源详情请参见云数据源Hologres
  3. 可视化分析数据。成功连接数据源后,您可以使用即席分析SQL的方式可视化分析数据,详情请参见新建即席分析自定义SQL
IMPORT FOREIGN SCHEMA public_data LIMIT to(  customer,  customer_address,  customer_demographics,  inventory,item,  date_dim,  warehouse)FROM server odps_server INTO PUBLIC options(if_table_exist 'update');IMPORT FOREIGN SCHEMA public_data LIMIT to(  customer,  customer_address,  customer_demographics,  inventory,item,  date_dim,  warehouse)FROM server odps_server INTO PUBLIC options(if_table_exist 'update');# SQL1: 查询首选客户分布情况,按人数降序排列。
SELECT c_preferred_cust_flag,count(*)AS cnt
FROM customer
WHERE c_preferred_cust_flag ISNOTNULLGROUPBY c_preferred_cust_flag
ORDERBY cnt DESCLIMIT10;# SQL2: 查询客户年龄人数大于1000的分布情况,按人数降序排列。
SELECT c_birth_year,count(*)AS cnt
FROM customer
WHERE c_birth_year ISNOTNULLGROUPBY c_birth_year HAVINGcount(*)>1000ORDERBY cnt DESCLIMIT10;# SQL3: 查询客户所在城市的人数大于10的分布情况,按人数降序排序。
SELECT ca_city,count(*)AS cnt
FROM customer ,     customer_address
WHERE c_current_addr_sk = ca_address_sk
AND ca_city ISNOTNULLGROUPBY ca_city HAVINGcount(*)>10ORDERBY cnt DESCLIMIT10;# SQL4: 查询首选客户出生于1980~1990年且所在城市的人数大于10的分布情况,按人数降序排列。
SELECT ca_city,count(*)AS cnt
FROM customer ,     customer_address
WHERE c_current_addr_sk = ca_address_sk
AND c_birth_year >=1980AND c_birth_year <1990AND c_preferred_cust_flag ='Y'AND ca_city ISNOTNULLGROUPBY ca_city HAVINGcount(*)>10ORDERBY cnt DESCLIMIT10;

使用限制

共享集群(湖仓加速版)的使用限制如下:

  • 不支持使用Hologres的内部表功能,仅支持新建外部表加速查询MaxCompute数据。
  • 实例为共享资源,不支持升配及降配。
  • 查询分区表时,每次最多扫描1024个分区。
  • 目前不支持MAP、LIST及STRUCT数据类型。MaxCompute与Hologres的数据类型映射请参见数据类型汇总
  • 每个查询中对单张表的最大数据扫描量为200GB。
  • 提交的查询语句大小不超过100KB。
  • 默认查询超时时间为30分钟,您可以通过statement_timeout参数修改查询超时时间。
  • 单个查询语句的Join及Group By的总数量最大值为20。
  • 不支持使用COPY命令进行导入导出数据。
  • 仅支持创建hive_compatible extension,不支持创建其他extension,详情请参见GET_JSON_OBJECT
  • 支持对表进行手动Analyze操作,不支持对表进行Auto Analyze操作。
  • 共享集群不支持DML操作,仅支持如下DDL。
  • DATABASE
  • CREATE DATABASE。
  • ALTER DATABASE。
  • DROP DATABASE。
  • SCHEMA
  • CREATE SCHEMA。
  • ALTER SCHEMA。
  • DROP SCHEMA。
  • FOREIGN TABLE
  • CREATE FOREIGN TABLE。
  • DROP FOREIGN TABLE。
  • IMPORT FOREIGN SCHEMA。

数据类型映射

当前Hologres支持的数据类型与MaxCompute数据类型映射关系,请参见数据类型汇总

相关实践学习
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
6月前
|
存储 缓存 分布式计算
OSS大数据分析集成:MaxCompute直读OSS外部表优化查询性能(减少数据迁移的ETL成本)
MaxCompute直读OSS外部表优化方案,解决传统ETL架构中数据同步延迟高、传输成本大、维护复杂等问题。通过存储格式优化(ORC/Parquet)、分区剪枝、谓词下推与元数据缓存等技术,显著提升查询性能并降低成本。结合冷热数据分层与并发控制策略,实现高效数据分析。
168 2
|
5月前
|
存储 SQL 分布式计算
MaxCompute x 聚水潭:基于近实时数仓解决方案构建统一增全量一体化数据链路
聚水潭作为中国领先的电商SaaS ERP服务商,致力于为88,400+客户提供全链路数字化解决方案。其核心ERP产品助力企业实现数据驱动的智能决策。为应对业务扩展带来的数据处理挑战,聚水潭采用MaxCompute近实时数仓Delta Table方案,有效提升数据新鲜度和计算效率,提效比例超200%,资源消耗显著降低。未来,聚水潭将进一步优化数据链路,结合MaxQA实现实时分析,赋能商家快速响应市场变化。
257 0
|
9月前
|
SQL 大数据 数据挖掘
玩转大数据:从零开始掌握SQL查询基础
玩转大数据:从零开始掌握SQL查询基础
366 35
|
10月前
|
SQL 分布式计算 数据挖掘
阿里云 MaxCompute MaxQA 开启公测,公测可申请 100CU 计算资源解锁近实时高效查询体验
阿里云云原生大数据计算服务 MaxCompute 推出 MaxQA(原 MCQA2.0)查询加速功能,在独享的查询加速资源池的基础上,对管控链路、查询优化器、执行引擎、存储引擎以及缓存机制等多个环节进行全面优化,显著减少了查询响应时间,适用于 BI 场景、交互式分析以及近实时数仓等对延迟要求高且稳定的场景。现正式开启公测,公测期间可申请100CU(价值15000元)计算资源用于测试,欢迎广大开发者及企业用户参与,解锁高效查询体验!
阿里云 MaxCompute MaxQA 开启公测,公测可申请 100CU 计算资源解锁近实时高效查询体验
|
11月前
|
存储 运维 负载均衡
Hologres 查询队列全面解析
Hologres V3.0引入查询队列功能,实现请求有序处理、负载均衡和资源管理,特别适用于高并发场景。该功能通过智能分类和调度,确保复杂查询不会垄断资源,保障系统稳定性和响应效率。在电商等实时业务中,查询队列优化了数据写入和查询处理,支持高效批量任务,并具备自动流控、隔离与熔断机制,确保核心业务不受干扰,提升整体性能。
299 11
|
12月前
|
SQL 存储 分布式计算
MaxCompute近实时数仓能力升级
本文介绍了阿里云自研的离线实时一体化数仓,重点涵盖MaxCompute和Hologres两大产品。首先阐述了两者在ETL处理、AP分析及Serverless场景中的核心定位与互补关系。接着详细描述了MaxCompute在近实时能力上的升级,包括Delta Table形态、增量计算与查询支持、MCQ 2.0的优化等关键技术,并展示了其性能提升的效果。最后展望了未来在秒级数据导入、多引擎融合及更高效资源利用方面的改进方向。
|
负载均衡 大数据
大数据散列分区查询频率
大数据散列分区查询频率
141 5
|
存储 分布式计算 安全
MaxCompute Bloomfilter index 在蚂蚁安全溯源场景大规模点查询的最佳实践
MaxCompute 在11月最新版本中全新上线了 Bloomfilter index 能力,针对大规模数据点查场景,支持更细粒度的数据裁剪,减少查询过程中不必要的数据扫描,从而提高整体的查询效率和性能。
|
7月前
|
存储 消息中间件 OLAP
基于 Flink+Paimon+Hologres 搭建淘天集团湖仓一体数据链路
本文整理自淘天集团高级数据开发工程师朱奥在Flink Forward Asia 2024的分享,围绕实时数仓优化展开。内容涵盖项目背景、核心策略、解决方案、项目价值及未来计划五部分。通过引入Paimon和Hologres技术,解决当前流批存储不统一、实时数据可见性差等痛点,实现流批一体存储与高效近实时数据加工。项目显著提升了数据时效性和开发运维效率,降低了使用门槛与成本,并规划未来在集团内推广湖仓一体架构,探索更多技术创新场景。
1471 3
基于 Flink+Paimon+Hologres 搭建淘天集团湖仓一体数据链路
|
SQL 运维 网络安全
【实践】基于Hologres+Flink搭建GitHub实时数据查询
本文介绍了如何利用Flink和Hologres构建GitHub公开事件数据的实时数仓,并对接BI工具实现数据实时分析。流程包括创建VPC、Hologres、OSS、Flink实例,配置Hologres内部表,通过Flink实时写入数据至Hologres,查询实时数据,以及清理资源等步骤。

相关产品

  • 实时数仓 Hologres