大数据workshop:《在线用户行为分析:基于流式计算的数据处理及应用》之《实时数据分析:海量日志数据多维透视》篇

简介: 本手册为云栖大会Workshop之《在线用户行为分析:基于流式计算的数据处理及应用》场的《实时数据分析:海量日志数据多维透视》篇所需。主要帮助现场学员熟悉并掌握阿里云数加·分析型数据库AnalyticDB的操作和使用。

实验背景介绍

了解更多2017云栖大会·成都峰会 TechInsight & Workshop.

本手册为云栖大会Workshop之《在线用户行为分析:基于流式计算的数据处理及应用》场的《实时数据分析:海量日志数据多维透视》篇所需。主要帮助现场学员熟悉并掌握阿里云数加·分析型数据库AnalyticDB的操作和使用。

实验涉及大数据产品

前提准备

必备条件:确保已经获取到实验所需的阿里云账号和密码。

创建AnalyticDB表

通过DMS创建AnalyticDB数据表可以通过可视化建表和SQL窗口建表两种模式。

1.可视化建表

  • step1:进入DMS for AnalyticDB并使用阿里云账号进行登录。
  • step2:选择进入区域华北2,继而点击操作栏中的进入,进入workshop_demo数据库。

进入ADS

  • step3:根据自己获取的阿里云账号后三位数字选择进入对应表组。

【说明】如当前云账号为train00620@aliyun-inc.com,那么选择进入表组workshop_620。

  • step4:右键对应的表组,选择新建表进入可视化创建表模式。

选择新建表

  • step5:配置表名、字段名称、数据类型、主键,选择对应表组、一级分区列和更新方式,如下图所示。

其中表组选择自己云账号对应的表组,一级分区列选择为pv_time,分区方式中的哈希分区数为8.

表属性中表组选择自己账号所对应的表组,表名为pv_abc(abc同为账号后三位数字),如pv_day_620。因为表名在同一个AnalyticDB数据库中应全局唯一。

配置表

  • step6:在新建表页面底部,点击保存按钮。
  • step7:在提交变更弹出框中点击确定按钮,直至提示“变更执行成功”,如下图。

提交创建表

创建表成功

2.通过SQL窗口创建表

也可以通过DDL模式创建天浏览量pv的表,pv_day_abc(同上,abc为账号后三位数字)。

  • step1:点击顶部菜单栏中的SQL窗口,进入DDL模式。

SQL窗口

  • step2:在SQL窗口中依次复制并执行如下SQL代码。

执行SQL

建表SQL如下:(其中需要注意自己的表名、一级分区列以及建表所属的表组tablegroup属性。)

--统计当天实时浏览量pv
CREATE TABLE pv_day_620 (
pv_time varchar NOT NULL , 
pv_count bigint NOT NULL , 
primary key (pv_time)
) 
PARTITION BY HASH KEY(pv_time) PARTITION NUM 8
TABLEGROUP workshop_620
OPTIONS(UPDATETYPE='realtime')
;
  • step3:右键对应的表组,选择刷新查看已经创建成功的表。

刷新SQL


由于时间关系,关于区域访问量、按照小时统计浏览量、按设备统计浏览量和统计请求来源量的建表将不在此进行动手操作,但是讲师会给大家讲解。workshop结束后,会将所有指标统计过程的代码开发给大家进行体验。

>>>点击进入《流数据处理:通过StreamSQL分析用户行为》篇

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
5月前
|
存储 数据采集 搜索推荐
Java 大视界 -- Java 大数据在智慧文旅旅游景区游客情感分析与服务改进中的应用实践(226)
本篇文章探讨了 Java 大数据在智慧文旅景区中的创新应用,重点分析了如何通过数据采集、情感分析与可视化等技术,挖掘游客情感需求,进而优化景区服务。文章结合实际案例,展示了 Java 在数据处理与智能推荐等方面的强大能力,为文旅行业的智慧化升级提供了可行路径。
Java 大视界 -- Java 大数据在智慧文旅旅游景区游客情感分析与服务改进中的应用实践(226)
|
5月前
|
机器学习/深度学习 数据采集 数据可视化
Java 大视界 -- 基于 Java 的大数据可视化在城市空气质量监测与污染溯源中的应用(216)
本文探讨Java大数据可视化在城市空气质量监测与污染溯源中的创新应用,结合多源数据采集、实时分析与GIS技术,助力环保决策,提升城市空气质量管理水平。
Java 大视界 -- 基于 Java 的大数据可视化在城市空气质量监测与污染溯源中的应用(216)
|
4月前
|
SQL 人工智能 监控
SLS Copilot 实践:基于 SLS 灵活构建 LLM 应用的数据基础设施
本文将分享我们在构建 SLS SQL Copilot 过程中的工程实践,展示如何基于阿里云 SLS 打造一套完整的 LLM 应用数据基础设施。
839 66
|
5月前
|
存储 监控 数据可视化
Java 大视界 -- 基于 Java 的大数据可视化在企业生产运营监控与决策支持中的应用(228)
本文探讨了基于 Java 的大数据可视化技术在企业生产运营监控与决策支持中的关键应用。面对数据爆炸、信息孤岛和实时性不足等挑战,Java 通过高效数据采集、清洗与可视化引擎,助力企业构建实时监控与智能决策系统,显著提升运营效率与竞争力。
|
5月前
|
Java 大数据 数据处理
Java 大视界 -- 基于 Java 的大数据实时数据处理在工业互联网设备协同制造中的应用与挑战(222)
本文探讨了基于 Java 的大数据实时数据处理在工业互联网设备协同制造中的应用与挑战。文章分析了传统制造模式的局限性,介绍了工业互联网带来的机遇,并结合实际案例展示了 Java 在多源数据采集、实时处理及设备协同优化中的关键技术应用。同时,也深入讨论了数据安全、技术架构等挑战及应对策略。
|
5月前
|
数据采集 搜索推荐 Java
Java 大视界 -- Java 大数据在智能教育虚拟学习环境构建与用户体验优化中的应用(221)
本文探讨 Java 大数据在智能教育虚拟学习环境中的应用,涵盖多源数据采集、个性化推荐、实时互动优化等核心技术,结合实际案例分析其在提升学习体验与教学质量中的成效,并展望未来发展方向与技术挑战。
|
3月前
|
数据可视化 大数据 关系型数据库
基于python大数据技术的医疗数据分析与研究
在数字化时代,医疗数据呈爆炸式增长,涵盖患者信息、检查指标、生活方式等。大数据技术助力疾病预测、资源优化与智慧医疗发展,结合Python、MySQL与B/S架构,推动医疗系统高效实现。
|
3月前
|
机器学习/深度学习 搜索推荐 数据挖掘
数据分析真能让音乐产业更好听吗?——聊聊大数据在音乐里的那些事
数据分析真能让音乐产业更好听吗?——聊聊大数据在音乐里的那些事
195 9
|
4月前
|
数据可视化 数据挖掘 大数据
基于python大数据的水文数据分析可视化系统
本研究针对水文数据分析中的整合难、分析单一和可视化不足等问题,提出构建基于Python的水文数据分析可视化系统。通过整合多源数据,结合大数据、云计算与人工智能技术,实现水文数据的高效处理、深度挖掘与直观展示,为水资源管理、防洪减灾和生态保护提供科学决策支持,具有重要的应用价值和社会意义。
|
5月前
|
存储 数据挖掘 大数据
基于python大数据的用户行为数据分析系统
本系统基于Python大数据技术,深入研究用户行为数据分析,结合Pandas、NumPy等工具提升数据处理效率,利用B/S架构与MySQL数据库实现高效存储与访问。研究涵盖技术背景、学术与商业意义、国内外研究现状及PyCharm、Python语言等关键技术,助力企业精准营销与产品优化,具有广泛的应用前景与社会价值。

相关产品

  • 云原生大数据计算服务 MaxCompute