云端问道5期实践教学-基于Hologres轻量实时的高性能OLAP分析

本文涉及的产品
实时数仓Hologres,5000CU*H 100GB 3个月
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
简介: 本文基于Hologres轻量实时的高性能OLAP分析实践,通过云起实验室进行实操。实验步骤包括创建VPC和交换机、开通Hologres实例、配置DataWorks、创建网关、设置数据源、创建实时同步任务等。最终实现MySQL数据实时同步到Hologres,并进行高效查询分析。实验手册详细指导每一步操作,确保顺利完成。

本文是基于 Hologres 轻量实时的高性能 OLAP 分析的实践。

在云起实验室里点击进入实操。

image.png

看到左侧是实验手册,右侧是管控台入口,左侧是这次实验设计用到的一些产品,按照实验步骤逐一操作就可以。

image.png

首先需要创建一些专有网络 VPC 和交换机,在专有网络的控制台,按照实验步骤创建专有网络,专有网络可以按照实验的教程,创在上海的可用区 E,后续建立一些合作实例也在上海的可用区 E,这样网络能实现联通,创建完成 VPC 网络和交换机。

image.png

接下来开通 Hologres 实例,如果有免费试用,可以直接点击领取 Hologres 的免费试用,如果没有免费试用,可以去 Hologres 购买页开通按量付费,选择通用型,上海,可用区 E,也是 VPC 和交换机的可用区,一般开 32 核的实例使用。

image.png

可以看到刚才建的交换机和 VPC 信息在这里出现。然后创建服务关联角色。实例的名称可以输Hologres,如果按量付费,大概 11 块左右一个小时。按照正常的流程开通下单就可以。

image.png

开通完 Hologres 后,接下来开通 DataWorks,在 DataWorks 购买页,选择上海的 Region,没有可用区的限制。需要勾选  DataWorks 的资源组,资源组会用来做实时同步,然后给资源组备注名称,刚才创建的专业网络和交换机都在这里,服务关联角色也创建,支付一下就可以把 DataWorks 开通。

image.png

接下来要创建网关,一会通过 DataWorks 连接公网的数据源,在网关的控制台,在上海区域,梳理一下实例的名称,新购公网的弹性 IP。创建角色后刷新一下。把公网的网关开通,刚才是各种各样的配置,开通之后能看到网关相关的信息。

image.png

接下来是正式的实验操作流程,先去 Hologres 控制台,然后点击登录实例,进入 Hologres 的管控台,在管控台需要新建一个 Hologres 的数据库来存放需要同步的数据。新建数据库的名称,在  DataWorks 添加数据源时会用到。数据库新建完成后,需要建表。 image.png

把这段 SQL 复制到 SQL 编辑器,选刚才创建的数据库运行。

image.png

Hologres 里把表建好,后面需要把数据写到表,需要在 DataWorks 里操作。

image.png

进入管理中心,到管理中心的 DataWorks 工作空间,把数据源绑到 DataWorks 上。提供一个公网的 RDS,里面有实时更新的数据。 image.png

把数据源的一些信息粘贴到里面。把 MySQL 的数据库添加进来。

image.png

添加完 MySQL 的数据源,要创建 Hologres 数据源,在刚才的界面新增数据源,选择 Hologres。名称已经创建。创建后端数据库,测一下联通性,两边都可以联通,两个数据源创建完成。

image.png

接下来要创建实时同步的任务,到数据集成的产品页面。选择同步任务,来源是 MySQL,去向是 Hologres,开始创建。

image.png

MySQL 数据源选择刚才创建的,Hologres 选刚才创建的 Hologres,资源组是刚才创建的 DataWorks 资源组。占用选 2cu3cu 可以自己确定,基本是按量付费,实时同步任务至少 2cu,先设置4cu,然后测联通性,基本上联通性都可以联通。

image.png

创建后把实验所需的表导过来,导过来后批量刷新映射,然后把目标的 Scheme名改成刚才 hologres_dataset_github_event,刷新映射之后,把 Scheme 名和目标表的名称修改,和 Hologres 里建表保持一致,完成配置。

image.png

可以启动实时同步的任务,跑起来需要运行时间,可以刷新看启动和运行的情况。

image.png

点击进去看同步的过程,因为数据源还有历史相关的数据,会先进行全量初始化,把历史的数据同步过来。数据源实时更新,会把实时的数据同步过来,实现实时的数据同步,看到整个同步的操作比较简单,把数据源配置好后,创建一个同步任务,基本上在 MySQL 中的数据就能非常快速的同步到 Hologres 里,后续在 Hologres 里完成高性能的 OLAP 分析,数据同步成功,数据基本到 Hologres 里。

image.png

然后可以按照自己写的 SQL 的方式在 Hologres 里直接查询相关的数据,运行直接能查到实时变化的更新数据。

image.png

DataV 的演示先不做,因为 DataV 后面有一些付费的操作,按照教程用自己的 AK 登录 DataV,购买 DataV 九块九的首页的专业版,可以适用 DataV 对接 Hologres 数据源的功能,已经准备好模板,只要把自己的 Hologres 数据源信息填进去,里面很多 SQL 已经预制好,很快能按照教程的流程很快把大屏搭建出来,提交最终的作品时,会确认是否开通实例,运行相关的 SQL,然后做最后获奖名单校验,最后清理资源,按照手册里各个步骤的操作,把自己的实例和资源组清理,后面就不会产生额外的计费。

相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
7天前
|
SQL 消息中间件 Kafka
Flink+Paimon+Hologres,面向未来的一体化实时湖仓平台架构设计
本文介绍了阿里云实时数仓Hologres负责人姜伟华在Flink Forward Asia 2024上的分享,涵盖实时数仓的发展历程、从实时数仓到实时湖仓的演进,以及总结。文章通过三代实时数仓架构的演变,详细解析了Lambda架构、Kafka实时数仓分层+OLAP、Hologres实时数仓分层复用等方案,并探讨了未来从实时数仓到实时湖仓的演进方向。最后,结合实际案例和Demo展示了Hologres + Flink + Paimon在实时湖仓中的应用,帮助用户根据业务需求选择合适的方案。
366 20
Flink+Paimon+Hologres,面向未来的一体化实时湖仓平台架构设计
|
1月前
|
存储 消息中间件 OLAP
Hologres+Flink企业级实时数仓核心能力介绍-2024实时数仓Hologres线上公开课03
本次分享由阿里云产品经理骆撷冬(观秋)主讲,主题为“Hologres+Flink企业级实时数仓核心能力”,是2024实时数仓Hologres线上公开课的第三期。课程详细介绍了Hologres与Flink结合搭建的企业级实时数仓的核心能力,包括解决实时数仓分层问题、基于Flink Catalog的Streaming Warehouse实践,并通过典型客户案例展示了其应用效果。
57 10
Hologres+Flink企业级实时数仓核心能力介绍-2024实时数仓Hologres线上公开课03
|
1月前
|
SQL 存储 JSON
实时数仓 Hologres 产品介绍:一体化实时湖仓平台
本次方案的主题是实时数仓 Hologres 产品介绍:一体化实时湖仓平台,介绍了 Hologres 湖仓存储一体,多模式计算一体、分析服务一体和 Data+AI 一体四方面一体化场景,并对其运维监控方面及客户案例进行一定讲解。 1. Hologres :面向未来的一体化实时湖仓 2. 运维监控 3. 客户案例 4. 总结
80 14
|
1月前
|
存储 SQL 运维
Hologres OLAP场景核心能力介绍-2024实时数仓Hologres线上公开课02
本次分享由Hologres产品经理赵红梅(梅酱)介绍Hologres在OLAP场景中的核心能力。内容涵盖OLAP场景的痛点、Hologres的核心优势及其解决方法,包括实时数仓分析、湖仓一体加速、丰富的索引和查询性能优化等。此外,还介绍了Hologres在兼容PG生态、支持多种BI工具以及高级企业级功能如计算组隔离和serverless computing等方面的优势。最后通过小红书和乐元素两个典型客户案例,展示了Hologres在实际应用中的显著效益,如运维成本降低、查询性能提升及成本节省等。
|
1月前
|
SQL 存储 运维
云端问道5期方案教学-基于 Hologres 轻量实时的高性能OLAP分析
本文介绍了基于Hologres的轻量实时高性能OLAP分析方案,涵盖OLAP典型应用场景及Hologres的核心能力。Hologres是阿里云的一站式实时数仓,支持多种数据源同步、多场景查询和丰富的生态工具。它解决了复杂OLAP场景中的技术栈复杂、需求响应慢、开发运维成本高、时效性差、生态兼容弱、业务间相互影响等难题。通过与ClickHouse对比,Hologres在性能、写入更新、主键支持等方面表现更优。文中还展示了小红书、乐元素等客户案例,验证了Hologres在实际应用中的优势,如免运维、查询快、成本节约等。
云端问道5期方案教学-基于 Hologres 轻量实时的高性能OLAP分析
|
4月前
|
人工智能 自然语言处理 关系型数据库
阿里云云原生数据仓库 AnalyticDB PostgreSQL 版已完成和开源LLMOps平台Dify官方集成
近日,阿里云云原生数据仓库 AnalyticDB PostgreSQL 版已完成和开源LLMOps平台Dify官方集成。
|
4月前
|
人工智能 分布式计算 数据管理
阿里云位居 IDC MarketScape 中国实时湖仓评估领导者类别
国际数据公司( IDC )首次发布了《IDC MarketScape: 中国实时湖仓市场 2024 年厂商评估》,阿里云在首次报告发布即位居领导者类别。
|
4月前
|
SQL 分布式计算 数据挖掘
加速数据分析:阿里云Hologres在实时数仓中的应用实践
【10月更文挑战第9天】随着大数据技术的发展,企业对于数据处理和分析的需求日益增长。特别是在面对海量数据时,如何快速、准确地进行数据查询和分析成为了关键问题。阿里云Hologres作为一个高性能的实时交互式分析服务,为解决这些问题提供了强大的支持。本文将深入探讨Hologres的特点及其在实时数仓中的应用,并通过具体的代码示例来展示其实际应用。
334 0
|
5月前
|
存储 机器学习/深度学习 监控
阿里云 Hologres OLAP 解决方案评测
随着大数据时代的到来,企业面临着海量数据的挑战,如何高效地进行数据分析和决策变得尤为重要。阿里云推出的 Hologres OLAP(在线分析处理)解决方案,旨在为用户提供快速、高效的数据分析能力。本文将深入探讨 Hologres OLAP 的特点、优势以及应用场景,并针对方案的技术细节、部署指导、代码示例和数据分析需求进行评测。
191 7
|
5月前
|
运维 数据挖掘 OLAP
阿里云Hologres:一站式轻量级OLAP分析平台的全面评测
在数据驱动决策的今天,企业对高效、灵活的数据分析平台的需求日益增长。阿里云的Hologres,作为一站式实时数仓引擎,提供了强大的OLAP(在线分析处理)分析能力。本文将对Hologres进行深入评测,探讨其在多源集成、性能、易用性以及成本效益方面的表现。
270 7