基于阿里云平台进行游戏数据分析(一)

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 在本项目中,我们将基于阿里云平台进行游戏数据分析。本文是这个项目介绍的第一部分,主要介绍项目的背景,数据导入与预处理等环节。

最近,我们基于阿里云大数据平台进行了游戏数据的分析。项目利用精灵宝可梦数据,进行数据转换,然后分析水属性宝可梦的总数(base_total)X与捕捉几率(capture_rate)Y的关系。项目利用的平台是阿里云大数据平台Maxcompute、 DataWorks及机器学习PAI平台。

一、项目环境配置
进入阿里云平台,创建工作空间,选择使用Maxcompute和PAI Studio
image.png

然后填写实例名称,创建工作空间。最后检查是否已经开通两个引擎,否则需要在引擎配置里重新添加。
image.png

二、导入数据
查看数据文件,其中包含以下变量:
基础攻击属性、宝可梦孵化阶段、活跃指数、基本总数、捕捉几率、基础防御属性、成长经历、身高、血量、男性比率、图鉴ID、特殊攻击属性、特殊防御属性、宝可梦体重、第几代等。

点击“进入数据开发”,并选择DataWorks页面左侧的“临时查询”--新建ODPS SQL,如下所示:
image.png

在节点名称中输入“数据转换”,选择目标文件夹为“临时查询”,点击提交如下所示:
image.png

提交之后,在编辑器中输入如下建表语句,选中后点击运行按钮,如下所示:
DROP TABLE IF EXISTS pokemon;
CREATE TABLE IF NOT EXISTS pokemon (
attack BIGINT
,base_egg_steps DOUBLE
,base_happiness DOUBLE
,base_total DOUBLE
,capture_rate DOUBLE
,defense DOUBLE
,experience_growth DOUBLE
,height_m DOUBLE
,hp DOUBLE
,percentage_male DOUBLE
,pokedex_number DOUBLE
,sp_attack DOUBLE
,sp_defense DOUBLE
,weight_kg DOUBLE
,generation DOUBLE
);
等待运行,如果日志中出现log-END-EOF说明运行成功
image.png

在DataWorks页面左侧点击“数据开发”,然后点击“导入”按钮,选择从附件下载到本地的pokemon.csv,然后点击“打开”:
image.png

选择本地文件后会弹出如下对话框。原始字符集设为“UTF-8”,其他保持不变:
image.png

在导入至表的对话框中输入“pokemon”,观察目标字段与源字段是否一一对应,确认无误后点击导入:
如果右上角出现“文件上传成功”,则说明数据导入成功
image.png

点击页面左侧的“表管理”,刷新之后就能看到新建的数据表“pokemon”,如下图所示:
image.png

可以通过运行下列代码查询数据表“pokemon”中的数据,如下所示:
select *from pokemon;
查询结果如下:
image.png

三、查找缺失值&离散值
检查各个变量的缺失数:
在临时查询“数据质量的检验”中输入检查各个变量的缺失数代码,选中后点击运行按钮:
image.png

从运行结果可以看出:数据非常干净,变量不存在缺失值。

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
5月前
|
SQL 存储 缓存
基于 StarRocks + Iceberg,TRM Labs 构建 PB 级数据分析平台实践
从 BigQuery 到开放数据湖,区块链情报公司 TRM Labs 的数据平台演进实践
|
9月前
|
存储 分布式计算 大数据
基于阿里云大数据平台的实时数据湖构建与数据分析实战
在大数据时代,数据湖作为集中存储和处理海量数据的架构,成为企业数据管理的核心。阿里云提供包括MaxCompute、DataWorks、E-MapReduce等在内的完整大数据平台,支持从数据采集、存储、处理到分析的全流程。本文通过电商平台案例,展示如何基于阿里云构建实时数据湖,实现数据价值挖掘。平台优势包括全托管服务、高扩展性、丰富的生态集成和强大的数据分析工具。
|
11月前
|
SQL 数据挖掘 Serverless
手把手进行数据分析,解锁游戏行为画像
本文介绍了一套利用阿里云E-MapReduce StarRocks版进行游戏玩家画像和行为分析的完整流程,旨在帮助开发者构建高性能、低成本的游戏数据分析平台。
429 11
|
SQL 存储 数据挖掘
快速入门:利用AnalyticDB构建实时数据分析平台
【10月更文挑战第22天】在大数据时代,实时数据分析成为了企业和开发者们关注的焦点。传统的数据仓库和分析工具往往无法满足实时性要求,而AnalyticDB(ADB)作为阿里巴巴推出的一款实时数据仓库服务,凭借其强大的实时处理能力和易用性,成为了众多企业的首选。作为一名数据分析师,我将在本文中分享如何快速入门AnalyticDB,帮助初学者在短时间内掌握使用AnalyticDB进行简单数据分析的能力。
541 2
|
Kubernetes 并行计算 数据挖掘
构建高可用的数据分析平台:Dask 集群管理与部署
【8月更文第29天】随着数据量的不断增长,传统的单机数据分析方法已无法满足大规模数据处理的需求。Dask 是一个灵活的并行计算库,它能够帮助开发者轻松地在多核 CPU 或分布式集群上运行 Python 代码。本文将详细介绍如何搭建和管理 Dask 集群,以确保数据分析流程的稳定性和可靠性。
1237 3
|
SQL 分布式计算 数据挖掘
加速数据分析:阿里云Hologres在实时数仓中的应用实践
【10月更文挑战第9天】随着大数据技术的发展,企业对于数据处理和分析的需求日益增长。特别是在面对海量数据时,如何快速、准确地进行数据查询和分析成为了关键问题。阿里云Hologres作为一个高性能的实时交互式分析服务,为解决这些问题提供了强大的支持。本文将深入探讨Hologres的特点及其在实时数仓中的应用,并通过具体的代码示例来展示其实际应用。
687 0
|
机器学习/深度学习 前端开发 数据挖掘
基于Python Django的房价数据分析平台,包括大屏和后台数据管理,有线性、向量机、梯度提升树、bp神经网络等模型
本文介绍了一个基于Python Django框架开发的房价数据分析平台,该平台集成了多种机器学习模型,包括线性回归、SVM、GBDT和BP神经网络,用于房价预测和市场分析,同时提供了前端大屏展示和后台数据管理功能。
383 9
|
自然语言处理 数据挖掘 BI
ChatGPT 等相关大模型问题之将现有的数据分析平台与大模型结合如何解决
ChatGPT 等相关大模型问题之将现有的数据分析平台与大模型结合如何解决
|
机器学习/深度学习 数据采集 数据可视化
基于爬虫和机器学习的招聘数据分析与可视化系统,python django框架,前端bootstrap,机器学习有八种带有可视化大屏和后台
本文介绍了一个基于Python Django框架和Bootstrap前端技术,集成了机器学习算法和数据可视化的招聘数据分析与可视化系统,该系统通过爬虫技术获取职位信息,并使用多种机器学习模型进行薪资预测、职位匹配和趋势分析,提供了一个直观的可视化大屏和后台管理系统,以优化招聘策略并提升决策质量。
823 4
|
数据采集 数据可视化 数据挖掘
数据分析大神养成记:Python+Pandas+Matplotlib助你飞跃!
在数字化时代,数据分析至关重要,而Python凭借其强大的数据处理能力和丰富的库支持,已成为该领域的首选工具。Python作为基石,提供简洁语法和全面功能,适用于从数据预处理到高级分析的各种任务。Pandas库则像是神兵利器,其DataFrame结构让表格型数据的处理变得简单高效,支持数据的增删改查及复杂变换。配合Matplotlib这一数据可视化的魔法棒,能以直观图表展现数据分析结果。掌握这三大神器,你也能成为数据分析领域的高手!
249 2

热门文章

最新文章

下一篇
oss云网关配置