基于阿里云的EMR Serverless StarRocks,使用StarRocks的物化视图、通过DLF读写Paimon等最新能力,构建一个游戏玩家画像和行为分析平台。该案例通过收集玩家的行为日志,进行处理和分析,并最终将分析结果通过报表的形式展现给业务人员。
部署步骤:
1、创建专有网络VPC和交换机
在创建专有网络页⾯,根据下方参数说明配置1个专有网络(VPC)和1台交换机,然后单击确定。
2、新用户可以领取E-MapReduce Serverless StarRocks免费试用。
在实例详情 > 版本信息板块确认版本在3.2.11-1.79-1.6.44之上,若低于此版本,请先进行版本升级。
单击连接实例 > SQL Editor。在新建连接页面,选择地域(本场景示例地域为华东1(杭州)),输入用户名(用户名默认admin)和密码后,单击确定。
3、数据准备
进入EMR StarRocks Manager控制台,单击左侧导航栏SQL Editor > +文件。在新建文件对话框中,输入名称后单击确认。
在刚刚创建的文件中,执行如下代码创建StarRocks表,用于接收导入的OSS数据。
将OSS数据导入StarRocks中。
单击左侧导航栏导入任务 > Broker Load,查看任务状态和进度。
执行如下命令,校验写入数据是否成功。
use game_db;
select * from (
select
count(1),'ods_user_event' as tb
from
ods_user_event
union all
select
count(1),'ods_user_profile' as tb
from
ods_user_profile
) t
4、使用EMR-StarRocks物化视图,自动化构建数仓DWD-ADS。
执行如下命令,校验上面步骤的数据加工结果。
执行如下命令,使用EMR-StarRocks物化视图,自动化构建ADS。
执行如下命令,校验上面步骤的数据加工结果。
5、使用EMR-StarRocks实现湖仓极速分析(Paimon格式)
前往RAM控制台,填写好相关参数后,单击确定创建用户。
返回在EMR StarRocks Manager控制台。单击左侧导航栏安全中心 > 用户管理 > 添加用户。安全中心-用户管理-添加用户,添加刚才创建的RAM用户为超级管理员,记住用户密码。
6、授权EMR-StarRocks用户访问DLF数据湖构建
进入数据湖构建DLF2.0控制台,根据页面引导开通DLF2.0。
单击左侧导航栏数据目录 > 新建Catalogs。
单击刚刚创建的Catalog名称,选择权限 > 授权,根据如下参数添加RAM账号授权。
基本信息。
用户/角色:用户;
选择授权用户:刚刚创建的RAM用户;
预置授权类型:Custom;
权限。
数据目录:ALL;
数据目录下所有资源:ALL;
返回EMR StarRocks Manager控制台,单击新建连接。输入在前面步骤中创建的RAM账号与密码,单击确定。
单击左侧导航栏SQL Editor > +文件。在新建文件对话框中,输入名称后单击确认。
执行如下命令,初始化Catalog信息。
执行如下命令,将StarRocks数据写入Paimon。
执行如下命令,通过StarRocks查询ADS数据。
7、清理资源。
删除数据湖构建Catalogs。