MaxCompute 使用SQL进行同时在线问题分析

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 同一时刻处于相同状态的有多少,类似于这样的需求在游戏、电商、直播、教育等行业中很常见,本文就该问题分享下个人想法

同时在线问题在游戏、电商、直播、教育等互联网行业中很常见,该指标直接展示了各行业的竞争力,Boss也是很关注这个点,结果放到大屏展示也是在显眼的位置。这个问题如何进行分析呢,话不多说,直接上示例

案例:某游戏玩家玩游戏时间表如下:玩家ID、上线时间、下线时间

player_id

on_time

off_time

10001

2021-08-19 08:08:08

2021-08-19 12:11:23

10002

2021-08-19 09:01:07

2021-08-19 13:15:12

10003

2021-08-19 10:12:14

2021-08-19 10:50:18

10004

2021-08-19 09:20:21

2021-08-19 12:46:25

10005

2021-08-19 10:14:22

2021-08-19 13:26:15

10006

2021-08-19 11:11:25

2021-08-19 16:24:18

10007

2021-08-19 12:00:00

2021-08-19 17:48:03

10008

2021-08-19 13:12:14

2021-08-19 18:18:14

10009

2021-08-19 15:21:21

2021-08-19 21:15:17

10010

2021-08-19 18:20:02

2021-08-19 23:45:12

...

...

...

要求展示每天的最高在线人数:

date

online_ct

2021-08-01

254120

2021-08-02

198652

...

...

分析:在之前的文章中我们也使用过增加一个列用作标记,应用在这里可以对每个玩家上线标记1,下线标记-1,应用流式思想来一条数据就累加这个标记值,当然这个需要按时间先后顺序。累加的值就代表当前在线的人数问题。

  1. 首先生成示例数据
with tb1 as(select        player_id,        on_time,        off_time,        substr(on_time,1,10)as dt
fromvalues('10001','2021-08-19 08:08:08','2021-08-19 12:11:23'),('10002','2021-08-19 09:01:07','2021-08-19 13:15:12'),('10003','2021-08-19 10:12:14','2021-08-19 10:50:18'),('10004','2021-08-19 09:20:21','2021-08-19 12:46:25'),('10005','2021-08-19 10:14:22','2021-08-19 13:26:15'),('10006','2021-08-19 11:11:25','2021-08-19 16:24:18'),('10007','2021-08-19 12:00:00','2021-08-19 17:48:03'),('10008','2021-08-19 13:12:14','2021-08-19 18:18:14'),('10009','2021-08-19 15:21:21','2021-08-19 21:15:17'),('10010','2021-08-19 18:20:02','2021-08-19 23:45:12')               t(player_id,on_time,off_time))
  1. 利用前面分析的列转行方法,将每个玩家的上下线时间转成一列
tb2 as(select       player_id,       on_time as on_off_time,       dt,1as flag 
from tb1
union all 
select       player_id,       off_time as on_off_time,       dt,-1as flag 
from tb1
)
  1. 按时间先后顺序进行累加
tb3 as(select        player_id,        on_off_time,        dt,        flag,        sum(flag) over(partition by dt orderby on_off_time) sums
from tb2
)--结果如下player_id on_off_time     dt          flag  sums
100012021-08-1908:08:082021-08-1911100022021-08-1909:01:072021-08-1912100042021-08-1909:20:212021-08-1913100032021-08-1910:12:142021-08-1914100052021-08-1910:14:222021-08-1915100032021-08-1910:50:182021-08-19-14100062021-08-1911:11:252021-08-1915100072021-08-1912:00:002021-08-1916100012021-08-1912:11:232021-08-19-15100042021-08-1912:46:252021-08-19-14100082021-08-1913:12:142021-08-1915100022021-08-1913:15:122021-08-19-14100052021-08-1913:26:152021-08-19-13100092021-08-1915:21:212021-08-1914100062021-08-1916:24:182021-08-19-13100072021-08-1917:48:032021-08-19-12100082021-08-1918:18:142021-08-19-11100102021-08-1918:20:022021-08-1912100092021-08-1921:15:172021-08-19-11100102021-08-1923:45:122021-08-19-10
  1. 按天统计最高人数
select    dt asdate,    max(sums)as online_ct
from tb3
groupby dt;--结果如下date        online_ct
2021-08-196

掌握该类问题分析方法对业务需求分析有很大帮助,该类问题也可细化为每个小时在线人数等等。

拜了个拜

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
3月前
|
SQL 数据可视化 关系型数据库
MCP与PolarDB集成技术分析:降低SQL门槛与简化数据可视化流程的机制解析
阿里云PolarDB与MCP协议融合,打造“自然语言即分析”的新范式。通过云原生数据库与标准化AI接口协同,实现零代码、分钟级从数据到可视化洞察,打破技术壁垒,提升分析效率99%,推动企业数据能力普惠化。
267 3
|
3月前
|
SQL 存储 分布式计算
【万字长文,建议收藏】《高性能ODPS SQL章法》——用古人智慧驾驭大数据战场
本文旨在帮助非专业数据研发但是有高频ODPS使用需求的同学们(如数分、算法、产品等)能够快速上手ODPS查询优化,实现高性能查数看数,避免日常工作中因SQL任务卡壳、失败等情况造成的工作产出delay甚至集群资源稳定性问题。
1045 36
【万字长文,建议收藏】《高性能ODPS SQL章法》——用古人智慧驾驭大数据战场
|
4月前
|
SQL 分布式计算 大数据
SparkSQL 入门指南:小白也能懂的大数据 SQL 处理神器
在大数据处理的领域,SparkSQL 是一种非常强大的工具,它可以让开发人员以 SQL 的方式处理和查询大规模数据集。SparkSQL 集成了 SQL 查询引擎和 Spark 的分布式计算引擎,使得我们可以在分布式环境下执行 SQL 查询,并能利用 Spark 的强大计算能力进行数据分析。
|
7月前
|
SQL 关系型数据库 MySQL
凌晨2点报警群炸了:一条sql 执行200秒!搞定之后,我总结了一个慢SQL查询、定位分析解决的完整套路
凌晨2点报警群炸了:一条sql 执行200秒!搞定之后,我总结了一个慢SQL查询、定位分析解决的完整套路
凌晨2点报警群炸了:一条sql 执行200秒!搞定之后,我总结了一个慢SQL查询、定位分析解决的完整套路
|
7月前
|
SQL 算法 数据挖掘
【SQL周周练】:利用行车轨迹分析犯罪分子作案地点
【SQL破案系列】第一篇: 如果监控摄像头拍下了很多车辆的行车轨迹,那么如何利用这些行车轨迹来分析车辆运行的特征,是不是能够分析出犯罪分子“踩点”的位置
212 15
|
6月前
|
SQL 人工智能 分布式计算
别再只会写SQL了!这五个大数据趋势正在悄悄改变行业格局
别再只会写SQL了!这五个大数据趋势正在悄悄改变行业格局
113 0
|
8月前
|
SQL 关系型数据库 MySQL
【MySQL】SQL分析的几种方法
以上就是SQL分析的几种方法。需要注意的是,这些方法并不是孤立的,而是相互关联的。在实际的SQL分析中,我们通常需要结合使用这些方法,才能找出最佳的优化策略。同时,SQL分析也需要对数据库管理系统,数据,业务需求有深入的理解,这需要时间和经验的积累。
274 12
|
8月前
|
SQL 关系型数据库 MySQL
大数据新视界--大数据大厂之MySQL数据库课程设计:MySQL 数据库 SQL 语句调优方法详解(2-1)
本文深入介绍 MySQL 数据库 SQL 语句调优方法。涵盖分析查询执行计划,如使用 EXPLAIN 命令及理解关键指标;优化查询语句结构,包括避免子查询、减少函数使用、合理用索引列及避免 “OR”。还介绍了索引类型知识,如 B 树索引、哈希索引等。结合与 MySQL 数据库课程设计相关文章,强调 SQL 语句调优重要性。为提升数据库性能提供实用方法,适合数据库管理员和开发人员。
|
9月前
|
SQL 大数据 数据挖掘
玩转大数据:从零开始掌握SQL查询基础
玩转大数据:从零开始掌握SQL查询基础
353 35