云端问道5期实践教学-基于Hologres轻量实时的高性能OLAP分析

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
实时数仓Hologres,5000CU*H 100GB 3个月
简介: 本文基于Hologres轻量实时的高性能OLAP分析实践,通过云起实验室进行实操。实验步骤包括创建VPC和交换机、开通Hologres实例、配置DataWorks、创建网关、设置数据源、创建实时同步任务等。最终实现MySQL数据实时同步到Hologres,并进行高效查询分析。实验手册详细指导每一步操作,确保顺利完成。

本文是基于 Hologres 轻量实时的高性能 OLAP 分析的实践。

在云起实验室里点击进入实操。

image.png

看到左侧是实验手册,右侧是管控台入口,左侧是这次实验设计用到的一些产品,按照实验步骤逐一操作就可以。

image.png

首先需要创建一些专有网络 VPC 和交换机,在专有网络的控制台,按照实验步骤创建专有网络,专有网络可以按照实验的教程,创在上海的可用区 E,后续建立一些合作实例也在上海的可用区 E,这样网络能实现联通,创建完成 VPC 网络和交换机。

image.png

接下来开通 Hologres 实例,如果有免费试用,可以直接点击领取 Hologres 的免费试用,如果没有免费试用,可以去 Hologres 购买页开通按量付费,选择通用型,上海,可用区 E,也是 VPC 和交换机的可用区,一般开 32 核的实例使用。

image.png

可以看到刚才建的交换机和 VPC 信息在这里出现。然后创建服务关联角色。实例的名称可以输Hologres,如果按量付费,大概 11 块左右一个小时。按照正常的流程开通下单就可以。

image.png

开通完 Hologres 后,接下来开通 DataWorks,在 DataWorks 购买页,选择上海的 Region,没有可用区的限制。需要勾选  DataWorks 的资源组,资源组会用来做实时同步,然后给资源组备注名称,刚才创建的专业网络和交换机都在这里,服务关联角色也创建,支付一下就可以把 DataWorks 开通。

image.png

接下来要创建网关,一会通过 DataWorks 连接公网的数据源,在网关的控制台,在上海区域,梳理一下实例的名称,新购公网的弹性 IP。创建角色后刷新一下。把公网的网关开通,刚才是各种各样的配置,开通之后能看到网关相关的信息。

image.png

接下来是正式的实验操作流程,先去 Hologres 控制台,然后点击登录实例,进入 Hologres 的管控台,在管控台需要新建一个 Hologres 的数据库来存放需要同步的数据。新建数据库的名称,在  DataWorks 添加数据源时会用到。数据库新建完成后,需要建表。 image.png

把这段 SQL 复制到 SQL 编辑器,选刚才创建的数据库运行。

image.png

Hologres 里把表建好,后面需要把数据写到表,需要在 DataWorks 里操作。

image.png

进入管理中心,到管理中心的 DataWorks 工作空间,把数据源绑到 DataWorks 上。提供一个公网的 RDS,里面有实时更新的数据。 image.png

把数据源的一些信息粘贴到里面。把 MySQL 的数据库添加进来。

image.png

添加完 MySQL 的数据源,要创建 Hologres 数据源,在刚才的界面新增数据源,选择 Hologres。名称已经创建。创建后端数据库,测一下联通性,两边都可以联通,两个数据源创建完成。

image.png

接下来要创建实时同步的任务,到数据集成的产品页面。选择同步任务,来源是 MySQL,去向是 Hologres,开始创建。

image.png

MySQL 数据源选择刚才创建的,Hologres 选刚才创建的 Hologres,资源组是刚才创建的 DataWorks 资源组。占用选 2cu3cu 可以自己确定,基本是按量付费,实时同步任务至少 2cu,先设置4cu,然后测联通性,基本上联通性都可以联通。

image.png

创建后把实验所需的表导过来,导过来后批量刷新映射,然后把目标的 Scheme名改成刚才 hologres_dataset_github_event,刷新映射之后,把 Scheme 名和目标表的名称修改,和 Hologres 里建表保持一致,完成配置。

image.png

可以启动实时同步的任务,跑起来需要运行时间,可以刷新看启动和运行的情况。

image.png

点击进去看同步的过程,因为数据源还有历史相关的数据,会先进行全量初始化,把历史的数据同步过来。数据源实时更新,会把实时的数据同步过来,实现实时的数据同步,看到整个同步的操作比较简单,把数据源配置好后,创建一个同步任务,基本上在 MySQL 中的数据就能非常快速的同步到 Hologres 里,后续在 Hologres 里完成高性能的 OLAP 分析,数据同步成功,数据基本到 Hologres 里。

image.png

然后可以按照自己写的 SQL 的方式在 Hologres 里直接查询相关的数据,运行直接能查到实时变化的更新数据。

image.png

DataV 的演示先不做,因为 DataV 后面有一些付费的操作,按照教程用自己的 AK 登录 DataV,购买 DataV 九块九的首页的专业版,可以适用 DataV 对接 Hologres 数据源的功能,已经准备好模板,只要把自己的 Hologres 数据源信息填进去,里面很多 SQL 已经预制好,很快能按照教程的流程很快把大屏搭建出来,提交最终的作品时,会确认是否开通实例,运行相关的 SQL,然后做最后获奖名单校验,最后清理资源,按照手册里各个步骤的操作,把自己的实例和资源组清理,后面就不会产生额外的计费。

相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
2月前
|
SQL 运维 网络安全
【实践】基于Hologres+Flink搭建GitHub实时数据查询
本文介绍了如何利用Flink和Hologres构建GitHub公开事件数据的实时数仓,并对接BI工具实现数据实时分析。流程包括创建VPC、Hologres、OSS、Flink实例,配置Hologres内部表,通过Flink实时写入数据至Hologres,查询实时数据,以及清理资源等步骤。
|
23天前
|
DataWorks 数据挖掘 大数据
方案实践测评 | DataWorks集成Hologres构建一站式高性能的OLAP数据分析
DataWorks在任务开发便捷性、任务运行速度、产品使用门槛等方面都表现出色。在数据处理场景方面仍有改进和扩展的空间,通过引入更多的智能技术、扩展数据源支持、优化任务调度和可视化功能以及提升团队协作效率,DataWorks将能够为企业提供更全面、更高效的数据处理解决方案。
|
2月前
|
运维 数据挖掘 网络安全
场景实践 | 基于Flink+Hologres搭建GitHub实时数据分析
基于Flink和Hologres构建的实时数仓方案在数据开发运维体验、成本与收益等方面均表现出色。同时,该产品还具有与其他产品联动组合的可能性,能够为企业提供更全面、更智能的数据处理和分析解决方案。
|
8月前
|
SQL 关系型数据库 MySQL
实时计算 Flink版产品使用合集之如何将Hologres字段转换为小写
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStreamAPI、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
5月前
|
SQL 分布式计算 数据库
畅捷通基于Flink的实时数仓落地实践
本文整理自畅捷通总架构师、阿里云MVP专家郑芸老师在 Flink Forward Asia 2023 中闭门会上的分享。
8336 15
畅捷通基于Flink的实时数仓落地实践
|
5月前
|
消息中间件 关系型数据库 MySQL
实时计算 Flink版产品使用问题之使用CTAS同步MySQL到Hologres时出现的时区差异,该如何解决
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
5月前
|
SQL 关系型数据库 MySQL
实时数仓 Hologres操作报错合集之Flink CTAS Source(Mysql) 表字段从可空改为非空的原因是什么
实时数仓Hologres是阿里云推出的一款高性能、实时分析的数据库服务,专为大数据分析和复杂查询场景设计。使用Hologres,企业能够打破传统数据仓库的延迟瓶颈,实现数据到决策的无缝衔接,加速业务创新和响应速度。以下是Hologres产品的一些典型使用场景合集。
|
5月前
|
SQL 关系型数据库 测试技术
实时数仓 Hologres操作报错合集之执行Flink的sink操作时出现报错,是什么原因
实时数仓Hologres是阿里云推出的一款高性能、实时分析的数据库服务,专为大数据分析和复杂查询场景设计。使用Hologres,企业能够打破传统数据仓库的延迟瓶颈,实现数据到决策的无缝衔接,加速业务创新和响应速度。以下是Hologres产品的一些典型使用场景合集。
|
7月前
|
存储 SQL 消息中间件
Hologres+Flink企业级实时数仓核心能力介绍
通过Hologres+Flink构建易用、统一的企业级实时数仓。
|
5月前
|
存储 SQL Java
实时数仓 Hologres产品使用合集之如何使用Flink的sink连接
实时数仓Hologres是阿里云推出的一款高性能、实时分析的数据库服务,专为大数据分析和复杂查询场景设计。使用Hologres,企业能够打破传统数据仓库的延迟瓶颈,实现数据到决策的无缝衔接,加速业务创新和响应速度。以下是Hologres产品的一些典型使用场景合集。

热门文章

最新文章