活动实践 | 基于EMR StarRocks实现游戏玩家画像和行为分析

简介: 基于阿里云EMR Serverless StarRocks,利用其物化视图和DLF读写Paimon等能力,构建游戏玩家画像和行为分析平台。通过收集、处理玩家行为日志,最终以报表形式展示分析结果,帮助业务人员决策。

基于阿里云的EMR Serverless StarRocks,使用StarRocks的物化视图、通过DLF读写Paimon等最新能力,构建一个游戏玩家画像和行为分析平台。该案例通过收集玩家的行为日志,进行处理和分析,并最终将分析结果通过报表的形式展现给业务人员。
image.png

部署步骤:

1、创建专有网络VPC和交换机

在创建专有网络页⾯,根据下方参数说明配置1个专有网络(VPC)和1台交换机,然后单击确定。
image.png

image.png

2、新用户可以领取E-MapReduce Serverless StarRocks免费试用。

image.png

在实例详情 > 版本信息板块确认版本在3.2.11-1.79-1.6.44之上,若低于此版本,请先进行版本升级。
image.png
image.png

单击连接实例 > SQL Editor。在新建连接页面,选择地域(本场景示例地域为华东1(杭州)),输入用户名(用户名默认admin)和密码后,单击确定。
image.png

image.png

3、数据准备

进入EMR StarRocks Manager控制台,单击左侧导航栏SQL Editor > +文件。在新建文件对话框中,输入名称后单击确认。
image.png

在刚刚创建的文件中,执行如下代码创建StarRocks表,用于接收导入的OSS数据。
image.png
image.png

将OSS数据导入StarRocks中。
image.png

单击左侧导航栏导入任务 > Broker Load,查看任务状态和进度。
image.png

执行如下命令,校验写入数据是否成功。

use game_db;
select * from (
    select
     count(1),'ods_user_event' as tb
    from
      ods_user_event
union all
select
     count(1),'ods_user_profile' as tb
    from
      ods_user_profile
) t

image.png

4、使用EMR-StarRocks物化视图,自动化构建数仓DWD-ADS。

image.png
执行如下命令,校验上面步骤的数据加工结果。
image.png

执行如下命令,使用EMR-StarRocks物化视图,自动化构建ADS。
image.png

执行如下命令,校验上面步骤的数据加工结果。
image.png

5、使用EMR-StarRocks实现湖仓极速分析(Paimon格式)

前往RAM控制台,填写好相关参数后,单击确定创建用户。
image.png

返回在EMR StarRocks Manager控制台。单击左侧导航栏安全中心 > 用户管理 > 添加用户。安全中心-用户管理-添加用户,添加刚才创建的RAM用户为超级管理员,记住用户密码。
image.png

6、授权EMR-StarRocks用户访问DLF数据湖构建

进入数据湖构建DLF2.0控制台,根据页面引导开通DLF2.0。
image.png

单击左侧导航栏数据目录 > 新建Catalogs。
image.png

单击刚刚创建的Catalog名称,选择权限 > 授权,根据如下参数添加RAM账号授权。

image.png

基本信息。

用户/角色:用户;

选择授权用户:刚刚创建的RAM用户;

预置授权类型:Custom;

权限。

数据目录:ALL;

数据目录下所有资源:ALL;
image.png

返回EMR StarRocks Manager控制台,单击新建连接。输入在前面步骤中创建的RAM账号与密码,单击确定。

image.png

image.png

单击左侧导航栏SQL Editor > +文件。在新建文件对话框中,输入名称后单击确认。
image.png

执行如下命令,初始化Catalog信息。

image.png

执行如下命令,将StarRocks数据写入Paimon。

image.png

执行如下命令,通过StarRocks查询ADS数据。
2d3856662ba1cde71b74abeb196b9daf.png

7、清理资源。

删除数据湖构建Catalogs。
image.png

image.png

image.png

相关实践学习
使用ROS创建VPC和VSwitch
本场景主要介绍如何利用阿里云资源编排服务,定义资源编排模板,实现自动化创建阿里云专有网络和交换机。
阿里云专有网络VPC使用教程
专有网络VPC可以帮助您基于阿里云构建出一个隔离的网络环境,并可以自定义IP 地址范围、网段、路由表和网关等;此外,也可以通过专线/VPN/GRE等连接方式实现云上VPC与传统IDC的互联,构建混合云业务。 产品详情:https://www.aliyun.com/product/vpc
相关文章
|
7天前
「Mac畅玩鸿蒙与硬件41」UI互动应用篇18 - 多滑块联动控制器
本篇将带你实现一个多滑块联动的控制器应用。用户可以通过拖动多个滑块,动态控制不同参数(如红绿蓝三色值),并实时显示最终结果。我们将以动态颜色调节为例,展示如何结合状态管理和交互逻辑,打造一个高级的滑块控制器应用。
139 78
「Mac畅玩鸿蒙与硬件41」UI互动应用篇18 - 多滑块联动控制器
|
11天前
|
存储 传感器 编解码
ROS机器视觉入门:从基础到人脸识别与目标检测
前言 从本文开始,我们将开始学习ROS机器视觉处理,刚开始先学习一部分外围的知识,为后续的人脸识别、目标跟踪和YOLOV5目标检测做准备工作。我采用的笔记本是联想拯救者游戏本,系统采用Ubuntu20.04,ROS采用noetic。 颜色编码格式,图像格式和视频压缩格式 (1)RGB和BGR:这是两种常见的颜色编码格式,分别代表了红、绿、蓝三原色。不同之处在于,RGB按照红、绿、蓝的顺序存储颜色信息,而BGR按照蓝、绿、红的顺序存储。 rgb8图像格式:常用于显示系统,如电视和计算机屏幕。 RGB值以8 bits表示每种颜色,总共可以表示256×256×256=16777216种颜色
120 70
|
11天前
|
人工智能 Java API
教你自创工作流,赋予AI助理个性化推荐超能力
本文详细介绍了使用Spring AI Alibaba构建AI助理的全过程,涵盖从基本流程设计到实际操作实现的各个方面。文章首先回顾了前期工作,包括旅游攻略、天气查询和个人待办事项等功能模块的设计与实现。接着,深入探讨了工作流的实现细节,如事件封装优化、工作流节点创建及复杂工作流的高效管理。最后,通过实际项目启动与运行测试,展示了AI助理的实际效果,验证了系统的稳定性和可扩展性。本文不仅适合Java开发者学习AI技术,也为后续的优化和功能拓展提供了宝贵的经验。
334 7
教你自创工作流,赋予AI助理个性化推荐超能力
|
4天前
|
机器学习/深度学习 人工智能 Android开发
《C++与 MXNet:分布式训练与移动端部署的卓越融合》
MXNet是一款高效灵活的深度学习框架,尤其在分布式训练和移动端部署方面表现突出。基于C++的MXNet通过高效的通信机制和扩展性,支持大规模数据处理及复杂模型训练,同时其轻量化设计和性能优化使其成为移动端智能应用的理想选择。
57 29
|
6天前
|
消息中间件 人工智能 运维
12月更文特别场——寻找用云高手,分享云&AI实践
我们寻找你,用云高手,欢迎分享你的真知灼见!
590 39
|
5天前
|
数据挖掘
R中单细胞RNA-seq分析教程 (5)
R中单细胞RNA-seq分析教程 (5)
37 13
R中单细胞RNA-seq分析教程 (5)
|
11天前
|
机器学习/深度学习 人工智能
Micro LLAMA:教学版 LLAMA 3模型实现,用于学习大模型的核心原理
Micro LLAMA是一个精简的教学版LLAMA 3模型实现,旨在帮助学习者理解大型语言模型的核心原理。该项目仅约180行代码,便于理解和学习。Micro LLAMA基于LLAMA 3中最小的8B参数模型,适合对深度学习和模型架构感兴趣的研究者和学生。
76 18
Micro LLAMA:教学版 LLAMA 3模型实现,用于学习大模型的核心原理
|
10天前
|
数据采集 监控 数据管理
AllData数据中台商业版-核心内参资料分享
杭州奥零数据科技有限公司成立于2023年,专注于数据中台业务,维护开源项目AllData并提供商业版解决方案。AllData提供数据集成、存储、开发、治理及BI展示等一站式服务,支持AI大模型应用,助力企业高效利用数据价值。
|
11天前
|
存储 人工智能 算法
《C++与AI共舞:模型压缩率与预测准确率的平衡之路》
在AI领域,C++凭借其高效性能成为构建智能应用的重要工具。本文探讨了模型压缩与预测准确率之间的平衡问题,从模型架构、数据特性和压缩算法选择等方面提出了解决方案,并强调了动态调整和持续优化的重要性,旨在帮助开发者在资源受限环境下实现高性能、高精度的AI应用。
114 68
|
13天前
|
存储 UED
「Mac畅玩鸿蒙与硬件37」UI互动应用篇14 - 随机颜色变化器
本篇将带你实现一个随机颜色变化器应用。用户点击“随机颜色”按钮后,界面背景会随机变化为淡色系颜色,同时显示当前的颜色代码,页面还会展示一只猫咪图片作为装饰,提升趣味性。
67 36
「Mac畅玩鸿蒙与硬件37」UI互动应用篇14 - 随机颜色变化器