大数据workshop:《云数据·大计算:海量日志数据分析与应用》之《数据分析展现:可视化报表及嵌入应用》篇

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 本手册为云栖大会Workshop《云计算·大数据:海量日志数据分析与应用》的《数据分析展现:可视化报表及嵌入应用》篇而准备。主要阐述如何使用Quick BI制作报表,将前面几个实验处理分析得来的数据进行有效的展现和洞察。

大数据workshop:《云数据·大计算:海量日志数据分析与应用》之《数据分析展现:可视化报表及嵌入应用》篇

实验背景介绍

了解更多2017云栖大会·成都峰会 TechInsight & Workshop.

本手册为云栖大会Workshop《云计算·大数据:海量日志数据分析与应用》的《数据分析展现:可视化报表及嵌入应用》篇而准备。主要阐述如何使用Quick BI制作报表,将前面几个实验处理分析得来的数据进行有效的展现和洞察。

《数据加工:用户画像》实验中的结果表数据已经事先导入RDS中,表名为rpt_user_info_all_d。该表包含了:用户id、地区、性别、年龄范围、星座、访问设备、PV 等访问信息。

实验目标

承接前述实验加工好的数据表,通过Quick BI完成网站用户分析画像的仪表板。

  • 在该仪表板中,将展示用户的地区分布、设备分布和访问明细记录。
  • 并能够根据年龄范围的查询条件,动态更新图表数据内容。

涉及大数据产品

实验环境准备

必备条件:

确保阿里云账号处于登录状态。

  • step1:点击进入大数据(数加)管理控制台>Quick BI tab页面下。
  • step2:点击购买Quick BI标准版

开通BI

  • step3:在购买页面中,点击立即购买
    购买BI
  • step4:在确认订单页面中点击去支付,并确认支付

支付

确认支付

  • step5:成功开通Quick BI。

开通成功

进入Quick BI

确保阿里云账号处于登录状态。

Quick BI管理控制台

  • step2:点击进入Quick BI标准版。

点击进入

Quick BI页面

添加数据源

《数据加工:用户画像》实验将数据导入云数据库RDS后,可以利用Quick BI添加为数据源进行分析和展示。本章节为了大家快速的掌握Quick BI的使用提前将数据给大家拷贝了一份在官方的RDS里,大家只需要配置即可用。

  • step1:点击左侧数据,进入数据管理页。

点击数据

  • step2:切换至数据源标签页,点击新建数据源

点击新建数据源

[说明] 数据量千万级别,响应速度秒级。添加RDS数据源,可以直联任何一个云上RDS数据库,或ECS中用户自建的RDS。

  • step3:在新建数据源对话框中,选择并点击RDS for MySQL

点击MySQL

  • step4:配置RDS for MySQL数据源,并点击测试连通性,待连通性测试通过后,点击添加保存现有配置信息。

配置MySQL

RDS for MySQL数据源配置信息如下:

  • 显示名称:workshop
  • 数据库地址:rds955b606xk7e564006.mysql.rds.aliyuncs.com
  • 端口:3306
  • 数据库:workshop
  • 用户名/密码:demo_001/demo_001

保存RDS数据源

  • step5:点击数据源列表页中workshop数据源这行,显示该数据源下的数据表,找到表rpt_user_info_all_d,并点击创建数据集按钮生成数据集。

找数据表

数据集

编辑数据集

说明:

    1. 将对表的加工过程固化保存下来以避免重复操作。
    1. 常见加工:维度、度量的切换、修改维度的类型、

增加计算字段、创建层次结构、修改字段的数据类型、更改度量聚合方式、
制作关联模型。

  • step1:点击编辑按钮,进入编辑数据集页面。

编辑数据集

  • step2:转换包含地理信息的字段的维度类型(一般字段不需要转换)。选择region字段->右键->维度类型切换->地理信息->省/直辖市。如下图所示:

类型转换

转换成功后,在左侧维度栏中会看到region字段前多一个地理位置图标,如下图所示:

转换成功

  • step3:点击保存,保存数据集。

保存数据集

制作工作表

说明:

    1. 主要用于对于数据全方位的探索分析。
    1. 支持随意对维度、度量进行拖拽选择后进行查询,得到工作表内容,支持对维度、度量的过滤,支持排序,支持报表样式的设置。
    1. 保存的工作表,可以做为下一章节【制作仪表板】的数据来源,直接展现

下面希望获得每个地区(region),不同设备(device),不同性别(gender),不同年龄范围(age_range)的访问网站的pv量。

  • step1:点击左侧数据,找到数据集rpt_user_info_all_d 这行,点击表格分按钮,就会新建一个工作表对该数据集进行多维分析。

点击表格分析

表格分析页面

  • step2:分别选择需要分析的维度:region、device、gender、age_range并拖拽至分析面板中,选择度量pv拖拽至分析面板中的中,点击查询按钮, 得到每个地区、不同设备、不同性别、不同年龄范围的访问网站的pv量。

制作报表1

  • step3:点击保存,保存工作表名称为:访问明细。

制作仪表板

与上一节衔接,将分析结果固化为可视化报表。随着数据的更新,报表可视化展现最新数据。我们把这个过程叫制作仪表板。

制作思路:确定内容->确定布局和样式->制作图表->实现动态联动查询。

制作模板如下:

制作目标

【说明】仪表板创作界面的工具布局:

  • step1:点击主导航上的作品菜单,点击新建下拉菜单下的新建空白仪表板按钮,就可以开始创建一个仪表板。

点击新建空白仪表板

  • step2:从仪表板空间中向画布拖入文本框并命名为网站用户画像。

文本框

文本框-用户画像

  • step3:点击图表区域内的色彩地图,并选择数据源来源为来自数据集rpt_user_info_all_d,选择维度为region(地区)、度量为pv,选择完成后点击更新图表按钮,结果如下:

业务目的:查看访问用户的地域分布情况。

色彩地图

  • step4:将图表区域内的柱图拖拽至右侧画布,并配置选择数据来源为来自数据集rpt_user_info_all_d,选择维度为device(设备)、度量为pv,点击更新图表
    结果如下:

业务目的:查看访问设备的分布情况.

柱图

  • step5:点击图表区域内的交叉表,并选择数据源>来自工作表>访问明细(上述步骤中保存的工作表),点击更新图表按钮,结果如下:

业务目的:查看每个地区(region)、不同设备(device)、不同性别(gender),不同年龄范围(age_range)的访问网站的pv量。

交叉表

  • step6:向画布中拖入控件区域内的查询条控件,在拖动指示分隔线落到文本框气泡地图之间的时候,放下查询条件控件。

业务目的:增加查询条件年龄范围,实现动态图表。

插入查询条件

拖动结束后,设置查询条件对应的字段、作用范围和样式:

  • step6.1:首先将前面制作好的色彩地图、柱状图和交叉表控件的标题依次改为,地区分布和设备分布。

地图分布

设备分布

  • step6.2:接着,点击并设置查询条件对应到哪个字段和作用范围(上述配置的两个控件名称):变化的时候能影响到哪些图表控件。

配置查询条件

  • step6.3:然后设置查询条件的显示样式,这里设置为枚举类型复选框样式。

[注意]鼠标选中查询条件的输入框后,样式设置界面才会出现。

查询条件枚举

  • step7:点击保存仪表板,名称为云栖大会workshop

保存仪表板

  • step8:点击预览仪表板。

预览

修改年龄范围为不同的值,看仪表板的各个区块的图表的数据是否随着查询条件的变化而变化。

预览验证

恭喜各位已经完成了数据清洗、加工到展现的链路。更多的关于Quick BI的进阶教程,详见:更多案例(销售数据分析、仪表板制作)

Quick BI微信公众号:
BI公众号

>>>点击进入>>>《社交数据分析:好友推荐》篇

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
2月前
|
机器学习/深度学习 算法 数据挖掘
2023 年第二届钉钉杯大学生大数据挑战赛初赛 初赛 A:智能手机用户监测数据分析 问题二分类与回归问题Python代码分析
本文介绍了2023年第二届钉钉杯大学生大数据挑战赛初赛A题的Python代码分析,涉及智能手机用户监测数据分析中的聚类分析和APP使用情况的分类与回归问题。
60 0
2023 年第二届钉钉杯大学生大数据挑战赛初赛 初赛 A:智能手机用户监测数据分析 问题二分类与回归问题Python代码分析
|
4月前
|
机器学习/深度学习 数据可视化
【tensorboard】深度学习的日志信息events.out.tfevents文件可视化工具
【tensorboard】深度学习的日志信息events.out.tfevents文件可视化工具
|
22天前
|
机器学习/深度学习 数据挖掘 大数据
大数据时代的“淘金术”:Python数据分析+深度学习框架实战指南
在大数据时代,数据被视为新财富源泉,而从海量信息中提取价值成为企业竞争的核心。本文通过对比方式探讨如何运用Python数据分析与深度学习框架实现这一目标。Python凭借其强大的数据处理能力及丰富库支持,已成为数据科学家首选工具;而TensorFlow和PyTorch等深度学习框架则为复杂模型构建提供强有力的技术支撑。通过融合Python数据分析与深度学习技术,我们能在各领域中发掘数据的无限潜力。无论是商业分析还是医疗健康,掌握这些技能都将为企业和社会带来巨大价值。
38 6
|
2月前
|
存储 数据可视化 数据挖掘
大数据环境下的房地产数据分析与预测研究的设计与实现
本文介绍了一个基于Python大数据环境下的昆明房地产市场分析与预测系统,通过数据采集、清洗、分析、机器学习建模和数据可视化技术,为房地产行业提供决策支持和市场洞察,探讨了模型的可行性、功能需求、数据库设计及实现过程,并展望了未来研究方向。
大数据环境下的房地产数据分析与预测研究的设计与实现
|
2月前
|
Java Spring 安全
Spring 框架邂逅 OAuth2:解锁现代应用安全认证的秘密武器,你准备好迎接变革了吗?
【8月更文挑战第31天】现代化应用的安全性至关重要,OAuth2 作为实现认证和授权的标准协议之一,被广泛采用。Spring 框架通过 Spring Security 提供了强大的 OAuth2 支持,简化了集成过程。本文将通过问答形式详细介绍如何在 Spring 应用中集成 OAuth2,包括 OAuth2 的基本概念、集成步骤及资源服务器保护方法。首先,需要在项目中添加 `spring-security-oauth2-client` 和 `spring-security-oauth2-resource-server` 依赖。
44 0
|
2月前
|
存储 数据可视化 大数据
基于Python Django的大数据招聘数据分析系统,包括数据大屏和后台管理
本文介绍了一个基于Python Django框架开发的大数据招聘数据分析系统,该系统具备后台管理功能和数据大屏展示,利用大数据技术收集和分析招聘市场趋势,帮助企业和招聘机构提高招聘效率和质量。
103 3
|
2月前
|
机器学习/深度学习 算法 数据挖掘
【2023 年第二届钉钉杯大学生大数据挑战赛初赛】 初赛 A:智能手机用户监测数据分析 问题一Python代码分析
本文提供了2023年第二届钉钉杯大学生大数据挑战赛初赛A题"智能手机用户监测数据分析"的Python代码分析,包括数据预处理、特征工程、聚类分析等步骤,以及如何使用不同聚类算法进行用户行为分析。
47 0
【2023 年第二届钉钉杯大学生大数据挑战赛初赛】 初赛 A:智能手机用户监测数据分析 问题一Python代码分析
|
2月前
|
消息中间件 数据挖掘 Kafka
揭秘大数据时代的极速王者!Flink:颠覆性流处理引擎,让实时数据分析燃爆你的想象力!
【8月更文挑战第29天】Apache Flink 是一个高性能的分布式流处理框架,适用于高吞吐量和低延迟的实时数据处理。它采用统一执行引擎处理有界和无界数据流,具备精确状态管理和灵活窗口操作等特性。Flink 支持毫秒级处理和广泛生态集成,但学习曲线较陡峭,社区相对较小。通过实时日志分析示例,我们展示了如何利用 Flink 从 Kafka 中读取数据并进行词频统计,体现了其强大功能和灵活性。
36 0
|
3月前
|
机器学习/深度学习 数据挖掘 大数据
大数据时代的“淘金术”:Python数据分析+深度学习框架实战指南
【7月更文挑战第30天】大数据时代视数据为新石油,Python因强大处理能力成为首选工具。通过NumPy、Pandas等库,Python构建了高效数据分析生态。深度学习框架如TensorFlow和PyTorch支持复杂模型构建。Python与深度学习结合,实现数据清洗、特征工程到模型训练全流程,为企业决策提供强有力支持。掌握这些技能如同掌握“淘金术”,开启无限可能。
122 5
|
2月前
|
数据采集 人工智能 数据挖掘
【钉钉杯大学生大数据挑战赛】初赛B 航班数据分析与预测 Python代码实现Baseline
本文提供了参加"钉钉杯大学生大数据挑战赛"初赛B的航班数据分析与预测项目的Python代码实现Baseline。内容包括题目背景、思路分析、训练集和测试集的预处理、模型训练与预测、特征重要性分析,以及代码下载链接。预处理步骤涉及读取数据、时间信息处理、前序航班延误时间计算、天气信息匹配等。模型训练使用了Gradient Boosting Classifier,并对模型的准确率和特征重要性进行了评估。
64 0

相关产品

  • 云原生大数据计算服务 MaxCompute