本文是基于 Hologres 轻量实时的高性能 OLAP 分析的实践。
在云起实验室里点击进入实操。
看到左侧是实验手册,右侧是管控台入口,左侧是这次实验设计用到的一些产品,按照实验步骤逐一操作就可以。
首先需要创建一些专有网络 VPC 和交换机,在专有网络的控制台,按照实验步骤创建专有网络,专有网络可以按照实验的教程,创在上海的可用区 E,后续建立一些合作实例也在上海的可用区 E,这样网络能实现联通,创建完成 VPC 网络和交换机。
接下来开通 Hologres 实例,如果有免费试用,可以直接点击领取 Hologres 的免费试用,如果没有免费试用,可以去 Hologres 购买页开通按量付费,选择通用型,上海,可用区 E,也是 VPC 和交换机的可用区,一般开 32 核的实例使用。
可以看到刚才建的交换机和 VPC 信息在这里出现。然后创建服务关联角色。实例的名称可以输Hologres,如果按量付费,大概 11 块左右一个小时。按照正常的流程开通下单就可以。
开通完 Hologres 后,接下来开通 DataWorks,在 DataWorks 购买页,选择上海的 Region,没有可用区的限制。需要勾选 DataWorks 的资源组,资源组会用来做实时同步,然后给资源组备注名称,刚才创建的专业网络和交换机都在这里,服务关联角色也创建,支付一下就可以把 DataWorks 开通。
接下来要创建网关,一会通过 DataWorks 连接公网的数据源,在网关的控制台,在上海区域,梳理一下实例的名称,新购公网的弹性 IP。创建角色后刷新一下。把公网的网关开通,刚才是各种各样的配置,开通之后能看到网关相关的信息。
接下来是正式的实验操作流程,先去 Hologres 控制台,然后点击登录实例,进入 Hologres 的管控台,在管控台需要新建一个 Hologres 的数据库来存放需要同步的数据。新建数据库的名称,在 DataWorks 添加数据源时会用到。数据库新建完成后,需要建表。
把这段 SQL 复制到 SQL 编辑器,选刚才创建的数据库运行。
在 Hologres 里把表建好,后面需要把数据写到表,需要在 DataWorks 里操作。
进入管理中心,到管理中心的 DataWorks 工作空间,把数据源绑到 DataWorks 上。提供一个公网的 RDS,里面有实时更新的数据。
把数据源的一些信息粘贴到里面。把 MySQL 的数据库添加进来。
添加完 MySQL 的数据源,要创建 Hologres 数据源,在刚才的界面新增数据源,选择 Hologres。名称已经创建。创建后端数据库,测一下联通性,两边都可以联通,两个数据源创建完成。
接下来要创建实时同步的任务,到数据集成的产品页面。选择同步任务,来源是 MySQL,去向是 Hologres,开始创建。
MySQL 数据源选择刚才创建的,Hologres 选刚才创建的 Hologres,资源组是刚才创建的 DataWorks 资源组。占用选 2cu, 3cu 可以自己确定,基本是按量付费,实时同步任务至少 2cu,先设置4cu,然后测联通性,基本上联通性都可以联通。
创建后把实验所需的表导过来,导过来后批量刷新映射,然后把目标的 Scheme名改成刚才 hologres_dataset_github_event,刷新映射之后,把 Scheme 名和目标表的名称修改,和 Hologres 里建表保持一致,完成配置。
可以启动实时同步的任务,跑起来需要运行时间,可以刷新看启动和运行的情况。
点击进去看同步的过程,因为数据源还有历史相关的数据,会先进行全量初始化,把历史的数据同步过来。数据源实时更新,会把实时的数据同步过来,实现实时的数据同步,看到整个同步的操作比较简单,把数据源配置好后,创建一个同步任务,基本上在 MySQL 中的数据就能非常快速的同步到 Hologres 里,后续在 Hologres 里完成高性能的 OLAP 分析,数据同步成功,数据基本到 Hologres 里。
然后可以按照自己写的 SQL 的方式在 Hologres 里直接查询相关的数据,运行直接能查到实时变化的更新数据。
DataV 的演示先不做,因为 DataV 后面有一些付费的操作,按照教程用自己的 AK 登录 DataV,购买 DataV 九块九的首页的专业版,可以适用 DataV 对接 Hologres 数据源的功能,已经准备好模板,只要把自己的 Hologres 数据源信息填进去,里面很多 SQL 已经预制好,很快能按照教程的流程很快把大屏搭建出来,提交最终的作品时,会确认是否开通实例,运行相关的 SQL,然后做最后获奖名单校验,最后清理资源,按照手册里各个步骤的操作,把自己的实例和资源组清理,后面就不会产生额外的计费。