活动实践 | 基于EMR StarRocks实现游戏玩家画像和行为分析

简介: 基于阿里云EMR Serverless StarRocks,利用其物化视图和DLF读写Paimon等能力,构建游戏玩家画像和行为分析平台。通过收集、处理玩家行为日志,最终以报表形式展示分析结果,帮助业务人员决策。

基于阿里云的EMR Serverless StarRocks,使用StarRocks的物化视图、通过DLF读写Paimon等最新能力,构建一个游戏玩家画像和行为分析平台。该案例通过收集玩家的行为日志,进行处理和分析,并最终将分析结果通过报表的形式展现给业务人员。
image.png

部署步骤:

1、创建专有网络VPC和交换机

在创建专有网络页⾯,根据下方参数说明配置1个专有网络(VPC)和1台交换机,然后单击确定。
image.png

image.png

2、新用户可以领取E-MapReduce Serverless StarRocks免费试用。

image.png

在实例详情 > 版本信息板块确认版本在3.2.11-1.79-1.6.44之上,若低于此版本,请先进行版本升级。
image.png
image.png

单击连接实例 > SQL Editor。在新建连接页面,选择地域(本场景示例地域为华东1(杭州)),输入用户名(用户名默认admin)和密码后,单击确定。
image.png

image.png

3、数据准备

进入EMR StarRocks Manager控制台,单击左侧导航栏SQL Editor > +文件。在新建文件对话框中,输入名称后单击确认。
image.png

在刚刚创建的文件中,执行如下代码创建StarRocks表,用于接收导入的OSS数据。
image.png
image.png

将OSS数据导入StarRocks中。
image.png

单击左侧导航栏导入任务 > Broker Load,查看任务状态和进度。
image.png

执行如下命令,校验写入数据是否成功。

use game_db;
select * from (
    select
     count(1),'ods_user_event' as tb
    from
      ods_user_event
union all
select
     count(1),'ods_user_profile' as tb
    from
      ods_user_profile
) t

image.png

4、使用EMR-StarRocks物化视图,自动化构建数仓DWD-ADS。

image.png
执行如下命令,校验上面步骤的数据加工结果。
image.png

执行如下命令,使用EMR-StarRocks物化视图,自动化构建ADS。
image.png

执行如下命令,校验上面步骤的数据加工结果。
image.png

5、使用EMR-StarRocks实现湖仓极速分析(Paimon格式)

前往RAM控制台,填写好相关参数后,单击确定创建用户。
image.png

返回在EMR StarRocks Manager控制台。单击左侧导航栏安全中心 > 用户管理 > 添加用户。安全中心-用户管理-添加用户,添加刚才创建的RAM用户为超级管理员,记住用户密码。
image.png

6、授权EMR-StarRocks用户访问DLF数据湖构建

进入数据湖构建DLF2.0控制台,根据页面引导开通DLF2.0。
image.png

单击左侧导航栏数据目录 > 新建Catalogs。
image.png

单击刚刚创建的Catalog名称,选择权限 > 授权,根据如下参数添加RAM账号授权。

image.png

基本信息。

用户/角色:用户;

选择授权用户:刚刚创建的RAM用户;

预置授权类型:Custom;

权限。

数据目录:ALL;

数据目录下所有资源:ALL;
image.png

返回EMR StarRocks Manager控制台,单击新建连接。输入在前面步骤中创建的RAM账号与密码,单击确定。

image.png

image.png

单击左侧导航栏SQL Editor > +文件。在新建文件对话框中,输入名称后单击确认。
image.png

执行如下命令,初始化Catalog信息。

image.png

执行如下命令,将StarRocks数据写入Paimon。

image.png

执行如下命令,通过StarRocks查询ADS数据。
2d3856662ba1cde71b74abeb196b9daf.png

7、清理资源。

删除数据湖构建Catalogs。
image.png

image.png

image.png

相关实践学习
使用ROS创建VPC和VSwitch
本场景主要介绍如何利用阿里云资源编排服务,定义资源编排模板,实现自动化创建阿里云专有网络和交换机。
阿里云专有网络VPC使用教程
专有网络VPC可以帮助您基于阿里云构建出一个隔离的网络环境,并可以自定义IP 地址范围、网段、路由表和网关等;此外,也可以通过专线/VPN/GRE等连接方式实现云上VPC与传统IDC的互联,构建混合云业务。 产品详情:https://www.aliyun.com/product/vpc
相关文章
|
14天前
|
SQL 分布式计算 Serverless
鹰角网络:EMR Serverless Spark 在《明日方舟》游戏业务的应用
鹰角网络为应对游戏业务高频活动带来的数据潮汐、资源弹性及稳定性需求,采用阿里云 EMR Serverless Spark 替代原有架构。迁移后实现研发效率提升,支持业务快速发展、计算效率提升,增强SLA保障,稳定性提升,降低运维成本,并支撑全球化数据架构部署。
163 56
鹰角网络:EMR Serverless Spark 在《明日方舟》游戏业务的应用
|
15天前
|
存储 运维 Serverless
千万级数据秒级响应!碧桂园基于 EMR Serverless StarRocks 升级存算分离架构实践
碧桂园服务通过引入 EMR Serverless StarRocks 存算分离架构,解决了海量数据处理中的资源利用率低、并发能力不足等问题,显著降低了硬件和运维成本。实时查询性能提升8倍,查询出错率减少30倍,集群数据 SLA 达99.99%。此次技术升级不仅优化了用户体验,还结合AI打造了“一看”和“—问”智能场景助力精准决策与风险预测。
147 69
|
1月前
|
存储 分布式计算 OLAP
百观科技基于阿里云 EMR 的数据湖实践分享
百观科技为应对海量复杂数据处理的算力与成本挑战,基于阿里云 EMR 构建数据湖。EMR 依托高可用的 OSS 存储、开箱即用的 Hadoop/Spark/Iceberg 等开源技术生态及弹性调度,实现数据接入、清洗、聚合与分析全流程。通过 DLF 与 Iceberg 的优化、阶梯式弹性调度(资源利用率提升至70%)及倚天 ARM 机型搭配 EMR Trino 方案,兼顾性能与成本,支撑数据分析需求,降低算力成本。
233 59
|
5月前
|
SQL 存储 缓存
EMR Serverless StarRocks 全面升级:重新定义实时湖仓分析
本文介绍了EMR Serverless StarRocks的发展路径及其架构演进。首先回顾了Serverless Spark在EMR中的发展,并指出2021年9月StarRocks开源后,OLAP引擎迅速向其靠拢。随后,EMR引入StarRocks并推出全托管产品,至2023年8月商业化,已有500家客户使用,覆盖20多个行业。 文章重点阐述了EMR Serverless StarRocks 1.0的存算一体架构,包括健康诊断、SQL调优和物化视图等核心功能。接着分析了存算一体架构的挑战,如湖访问不优雅、资源隔离不足及冷热数据分层困难等。
|
6月前
|
SQL 流计算 关系型数据库
基于OpenLake的Flink+Paimon+EMR StarRocks流式湖仓分析
阿里云OpenLake解决方案建立在开放可控的OpenLake湖仓之上,提供大数据搜索与AI一体化服务。通过元数据管理平台DLF管理结构化、半结构化和非结构化数据,提供湖仓数据表和文件的安全访问及IO加速,并支持大数据、搜索和AI多引擎对接。本文为您介绍以Flink作为Openlake方案的核心计算引擎,通过流式数据湖仓Paimon(使用DLF 2.0存储)和EMR StarRocks搭建流式湖仓。
743 5
基于OpenLake的Flink+Paimon+EMR StarRocks流式湖仓分析
|
5月前
|
Serverless BI
有奖实践,基于EMR StarRocks实现游戏玩家画像和行为分析
阿里云EMR-StarRocks联合镜舟科技,基于EMR-StarRocks实现游戏实时湖仓分析,免费试用物化视图、Paimon写入查询等新能力,前45位赢取StarRocks定制T恤、Lamy钢笔,小米充电宝,阿里云拍拍灯等活动礼品,前500位均可获得创意马克杯。
172 7
|
6月前
|
数据采集 运维 DataWorks
DataWorks on EMR StarRocks,打造标准湖仓新范式
本文整理自阿里云计算平台产品专家周硕(簌篱)在阿里云DataWorks on EMR StarRocks解决方案介绍中的分享。介绍了阿里云DataWorks与EMR Serverless StarRocks的结合使用,详细阐述了在数据同步、数据消费、数据治理三大场景中的核心能力。DataWorks作为大数据开发治理平台,提供了从数据建模、数据集成、数据开发到数据治理的全链路解决方案,结合StarRocks的高性能分析能力,帮助企业实现OLAP分析、湖仓一体开发及数据综合治理,满足复杂业务场景下的需求,提升数据处理和分析效率。
|
7月前
|
SQL 存储 缓存
降本60% ,阿里云 EMR StarRocks 全新发布存算分离版本
阿里云 EMR Serverless StarRocks 现已推出全新存算分离版本,该版本不仅基于开源 StarRocks 进行了全面优化,实现了存储与计算解耦架构,还在性能、弹性伸缩以及多计算组隔离能力方面取得了显著进展。
645 6
|
3月前
|
存储 分布式计算 物联网
美的楼宇科技基于阿里云 EMR Serverless Spark 构建 LakeHouse 湖仓数据平台
美的楼宇科技基于阿里云 EMR Serverless Spark 建设 IoT 数据平台,实现了数据与 AI 技术的有效融合,解决了美的楼宇科技设备数据量庞大且持续增长、数据半结构化、数据价值缺乏深度挖掘的痛点问题。并结合 EMR Serverless StarRocks 搭建了 Lakehouse 平台,最终实现不同场景下整体性能提升50%以上,同时综合成本下降30%。
363 58
|
3月前
|
机器学习/深度学习 分布式计算 大数据
阿里云 EMR Serverless Spark 在微财机器学习场景下的应用
面对机器学习场景下的训练瓶颈,微财选择基于阿里云 EMR Serverless Spark 建立数据平台。通过 EMR Serverless Spark,微财突破了单机训练使用的数据规模瓶颈,大幅提升了训练效率,解决了存算分离架构下 Shuffle 稳定性和性能困扰,为智能风控等业务提供了强有力的技术支撑。
219 15

热门文章

最新文章

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等