十分钟构建双十一交互分析大盘

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,内容安全 1000次 1年
阿里云盘企业版 CDE,企业版用户数5人 500GB空间
简介:

提到双十一很多人第一印象是一张成交金额跳动的炫酷大屏,的确大盘在阿里双十一中几乎是每个团队标配,例如:

  • CEO看业务:把重要数据放到一张大屏上,简洁而有冲击力
  • 运营看效果:把多个指标放在一起,有利于综合分析定制投放策略
  • 开发看流量:服务请求延时,排队情况,掌握实时性能与动态
  • 监控看水位:集中监控整体服务的状态,有利于快速的做出响应

大盘方案选型

典型方案是流式计算架构:

  • 数据采集:利用Agent、API、SDK等采集各源头数据
  • 中间存储:利用类Kafka软件进行生产系统和消费系统解耦
  • 实时计算:环节中最重要环节,订阅实时数据,通过计算规则对窗口中数据进行运算
  • 结果存储:计算结果数据存入SQL和NoSQL
  • 可视化:通过API调用结果数据进行展示

在阿里集团内,有大量成熟的产品可以完成此类工作,一般可供选型的产品如下:

image.png | left | 827x392

对大盘进一步诉求

虽然前期做了大量准备工作,但运营、研发和运维等除了看大盘外,还会围绕整个活动的运行做大量工作,例如:

  • 运营对每个类目的细节,下单数目,用户量预期水平等进行大量分析,对某些用户群体激活和促销
  • 研发关注请求流量,用户延时体验,定位和分析各种原因
  • 运维分析系统的水位,查看各资源的分布,调度资源以确保稳定性

image.png | left | 827x187

从上述例子中可以看到,除了数据的呈现之外,我们需要对大盘融入“交互式分析”的能力。给大家介绍一种选择:通过日志服务(LOG,原SLS)一站式的查询分析LogSearch/Analytics API 直接对接可视化大屏。

大屏的选择可选方案有日志服务Dashboard,Grafana,Datav等,也可以通过API、JDBC接口对接自己的可视化大屏和第三方的软件(例如Tableua)。日志㐏对三种大屏提供了插件,只需在配置中直接使用SQL进行计算,并展示结果。

交互分析 平台支撑 实时性 定时刷新 视图支持 适合场景
日志服务Dashboard PC 丰富 运维、运营、开发等
Grafana PC​ 一般 时间序列数据场景
DataV PC​、移动端、大屏 丰富 适合于presentation场景
基于JDBC或OpenAPI自建可视化前端

日志服务Dashboard主要面需要交互式分析的查询需求,例如发现错误时,需要下钻定位原因。跟踪到某个类目中查看细节,对比同比与环比数据。该方案有如下特点:

  • 实时性强

    • 从数据产生,秒级别即可在日志服务看到数据。
    • 动态刷新,秒级别即可计算出指标,展示在大屏上。
  • 秒级精度

    • 日志时间精确到秒级别。
  • 灵活查询

    • 使用SQL进行交互查询,可以进行探索式分析,快速进行假设和验证。可反复在原始数据上进行任意维度的计算。而流计算在计算完原始数据后,即抛弃了原始数据,若想回溯调整查询,基本不可能。所以日志服务的交互式查询可谓灵活很多。
  • 机器学习支持

    • 时序类机器学习函数,帮助发现业务规律与趋势
    • 分类与聚类函数,帮助发现与定位异常

image.png | left | 827x193

使用步骤

以日志服务dashboard对接为例,要对接一个大屏,首先要接入数据,然后编写SQL,配置仪表盘视图。

1. 接入数据

日志服务提供30+数据接入手段可以满足各种数据源诉求,具体参考文档

image.png | left | 827x210

2. 调试SQL+机器学习函数

我们在日志服务查询页面,通过SQL语法,计算出需要的指标。SQL语法参考语法文档

image.png | left

3. 配置视图并保存

SQL调试好后,配置视图的参数,添加到仪表盘:

在配置好的大屏中,使用下钻深入分析结果:

image | left

日志服务控制台内置14+类型视图,用于可视化展示SQL计算结果,具体参考文档

image | left

基于日志服务大盘案例

image.png | left

图:datav大屏

image.png | left

图:grafana大屏

  • 日志服务Nginx dashboard:使用日志服务内置的地图、饼图、折线图等可视化Nginx日志指标

image.png | left

图:日志服务dashboard

  • Pangu 2.0 秒级监控
    Pangu2.0是阿里云自研的新一代普惠智能新存储系统。Pangu基于日志服务搭建秒级监控,Pangu 日志产生后,秒级采集到日志服务,并在秒级别计算出各个机器的IOPS、延时、吞吐。可迅速发现负载高的机器,及时跟进处理。

image.png | left | 827x486

  • Fuxi 双十一资源画像为混部保驾护航资源调度大屏:
    伏羲是阿里云自研的分布式调度系统。在双十一期间,为了监控所有集群的容量、负载信息,伏羲团队搭建了基于日志服务+dataV的可视化大屏。一张大屏囊括了所有的集群信息,看到这张大屏,就像拥有了一张地图,在双十一波涛汹涌的流量面前,做到胸有成竹。

image.png | left

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
阿里云实时数仓实战 - 项目介绍及架构设计
课程简介 1)学习搭建一个数据仓库的过程,理解数据在整个数仓架构的从采集、存储、计算、输出、展示的整个业务流程。 2)整个数仓体系完全搭建在阿里云架构上,理解并学会运用各个服务组件,了解各个组件之间如何配合联动。 3 )前置知识要求   课程大纲 第一章 了解数据仓库概念 初步了解数据仓库是干什么的 第二章 按照企业开发的标准去搭建一个数据仓库 数据仓库的需求是什么 架构 怎么选型怎么购买服务器 第三章 数据生成模块 用户形成数据的一个准备 按照企业的标准,准备了十一张用户行为表 方便使用 第四章 采集模块的搭建 购买阿里云服务器 安装 JDK 安装 Flume 第五章 用户行为数据仓库 严格按照企业的标准开发 第六章 搭建业务数仓理论基础和对表的分类同步 第七章 业务数仓的搭建  业务行为数仓效果图  
目录
相关文章
|
7月前
|
监控 BI 定位技术
直播程序源码开发建设:洞察全局,数据统计与分析功能
数据统计与分析功能不管是对直播程序源码平台的主播或运营者都会有极大的帮助,是了解观众需求、优化用户体验成为直播平台发展的关键功能,这也是开发搭建直播程序源码平台的必备功能之一。
直播程序源码开发建设:洞察全局,数据统计与分析功能
|
数据采集 JavaScript 应用服务中间件
网站流量日志埋点收集--系统部署架构图和采集流程梳理|学习笔记
快速学习网站流量日志埋点收集--系统部署架构图和采集流程梳理
203 0
网站流量日志埋点收集--系统部署架构图和采集流程梳理|学习笔记
|
消息中间件 分布式计算 Ubuntu
【全网详解】从0到1搭建双十一实时交易数据展示平台——Spark+Kafka构建实时分析系统
【全网详解】从0到1搭建双十一实时交易数据展示平台——Spark+Kafka构建实时分析系统
687 0
【全网详解】从0到1搭建双十一实时交易数据展示平台——Spark+Kafka构建实时分析系统
|
监控 安全 搜索推荐
Quick BI产品核心功能大图(七)订阅与监控:数据波动,一手掌控
作为企业的管理者和经营者,要关注的数据指标太多了。如何在第一时间掌握指标的异常波动、发现经营风险?如何保证相关人员定期接收经营数据,不再遗漏?或许你需要 Quick BI 的帮助。
|
SQL 存储 数据采集
运营分析利器——SLS窗口漏斗分析
# 概述 漏斗分析当下已被广泛应用于产品运营分析过程中,成为用户增长、客户流失、留存转化等的重要分析方法。 常见的漏斗分析过程如下图所示,当产品或者运营活动发布后, 通过收集运营数据、并建立漏斗模型,然后根据漏斗模型进行统计和分析,定位问题,从而进行对应的优化迭代,并持续跟踪,最终实现用户增长、产品优化等目标。 ![image.png](https://cdn.nlark.com/yuque/0/
421 0
|
监控 小程序 算法
首次面向B端展开全链路压测!淘系高难度压测实践方案公开
“今年的双11是全球极大内容电商场的超级爆发,消费者、技术、内容与商业生态之间每一秒都在产生激烈共振,实时性、复杂性和持续峰值的叠加令其成为全球技术顶峰。2020年双11,阿里巴巴峰值交易达到了58.3万笔/秒,其背后的商家链路也承受着史无前例的压力”阿里巴巴副总裁汤兴如此描述今年的双11。
924 0
首次面向B端展开全链路压测!淘系高难度压测实践方案公开
|
缓存 移动开发 监控
淘宝大促页面性能监控和优化实践
作为一名前端工程师,更高的性能、更流畅的体验是长久不变的追求目标。而作为大促锋线,会场页面的性能表现直接影响了亿万消费者的购买体验。那么在今年的天猫618,我们是如何让消费者们在各个会场中能够逛的知心、挑的称心、买的开心呢? 本文将简要介绍今年的618,我们是如何通过缓存优化、请求优化等方案来应对性能挑战,并如何通过监控测试等手段来保障大规模的会场页面的性能。
2814 0
淘宝大促页面性能监控和优化实践
|
机器学习/深度学习 消息中间件 存储
监控指标10K+!携程实时智能检测平台实践
本文将介绍携程实时智能异常检测平台——Prophet。到目前为止,Prophet 基本覆盖了携程所有业务线,监控指标的数量达到 10K+,覆盖了携程所有订单、支付等重要的业务指标。Prophet 将时间序列的数据作为数据输入,以监控平台作为接入对象,以智能告警实现异常的告警功能,并基于 Flink 实时计算引擎来实现异常的实时预警,提供一站式异常检测解决方案。
监控指标10K+!携程实时智能检测平台实践
|
SQL 流计算 双11
双十一|又快又稳!闲鱼实时事件规则计算驱动平台
如何在一周内上线50个用户增长策略?
1889 0
双十一|又快又稳!闲鱼实时事件规则计算驱动平台
|
流计算 程序员 物联网

相关产品

  • 文件存储NAS
  • 对象存储
  • 日志服务