双11就要来了,实时大屏准备好了吗?

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
可视分析地图(DataV-Atlas),3 个项目,100M 存储空间
数据可视化DataV,5个大屏 1个月
简介: 以往大家做实时大屏,最常用的方法可能是将数据存在消息日志/数据库中,通过实时计算(Flink)去实时处理数据,将数据初步聚合后写入到数据库中,再对接实时大屏。整个链路中,数据存储和高并发的查询是最需要解决的问题,而市面上满足存储要求的产品并不能提供多元化的查询服务,满足查询要求的产品又需要维护多套存储系统,开发、运维的成本都只升不降.

双11就要来了,实时大屏准备好了吗?

双11马上就要到了,是不是还在为如何用最短的代码做出最酷炫的实时大屏而苦苦挣扎?运营mm要大屏实时刷新,最好秒级返回关键指标数据;研发gg不想熬夜学习多套系统,只想用一套代码就解决存储、查询、对接BI工具等多种问题......

以往大家做实时大屏,最常用的方法可能是将数据存在消息日志/数据库中,通过实时计算(Flink)去实时处理数据,将数据初步聚合后写入到数据库中,再对接实时大屏。整个链路中,数据存储和高并发的查询是最需要解决的问题,而市面上满足存储要求的产品并不能提供多元化的查询服务,满足查询要求的产品又需要维护多套存储系统,开发、运维的成本都只升不降....

就在大家为各种问题争分夺秒苦苦挣扎时,小编带着《交互式分析六脉神剑》来了。六脉神剑的第4剑是指右手小指—少阴—心经—少冲剑,其特点是轻灵迅速。而交互式分析的另一核心功能是能够直接对接实时计算(Flink),实现实时数据实时写入实时查询,秒级交互式响应。同时还兼容PostgreSQL生态,能将查询到的实时数据直接对接BI分析工具,快速实现数据的可视化展现和分析。整个链路图展示如下;

image.png
今天小编将通过做一个双11交易实时大屏的案例,来讲述如何实现从数据采集--数据处理--数据服务--实时大屏的完整链路。
案例背景:某手机专营店想利用实时大屏实时展示当前类目的交易数据。
数据处理平台:实时计算
数据服务平台:HoloStudio(有关HoloStudio的介绍可参见HoloStudio简介
实时大屏:DataV

前提准备

1.开通交互式分析服务,请参见开通实例
2.开通实时计算服务,请参见开通服务和创建项目
3.开通DataV服务,请参见开通DataV服务

操作步骤

因涉及业务敏感数据,本案例只展示如何使用实时计算将数据进行初步聚合,再由交互式分析实时查询数据并对接到实时大屏DataV,关于如何采集数据在此不做阐述。

实时计算实时清洗数据

在实时计算里面将采集到的数据做初步的清洗聚合,将表数据连接到交互式分析,示例SQL如下:

create table holo_sink (id BIGINT, user_id BIGINT, item_name VARCHAR, number INT, cost FLOAT, province VARCHAR, city VARCHAR, salltime TIMESTAMP) with (
  type = 'custom',
  tableFactoryClass = 'com.alibaba.blink.connectors.hologres.HologresTableFactory',
  `endpoint` = '交互式分析vpc网络地址',
  `userName` = '当前账号的Access ID',
  `password` = '当前账号的Access Key',
  `dbName` = '连接的交互式分析数据库',
  `tableName` = '要映射的交互式分析表'
);

将作业发布到生产环境:
image.png

交互式分析实时写入查询

在交互式分析中可直接将实时计算里面的数据实时写入实时查询,达到秒级返回。本案例中使用HoloStudio来执行查询,关于Holostudio的介绍,可以参见HoloStudio简介
整张表查询出来的部分数据如下:
image.png

DataV实时大屏

在交互式分析中查询完数据后,可使用交互式分析对接DataV,制作实时大屏,具体操作步骤如下:

1.添加数据源

在DataV首页选择PostgreSQL数据源,并填写配置信息
image.png

配置项 说明
类型 PostgresSQL数据源
名称 自定义
域名 交互式分析的公共网络地址
用户名 当前账号的Access ID
密码 当前账号的Access Key
端口 交互式分析的公共网络端口
数据库 可选择表所在的数据库

2.创建实时大屏

根据大屏想要显示的内容,选择需要的插件。本案例中选择了基本柱状、轮播、基础平面地图、数字翻牌器等。并给每个插件按照展示内容配置数据源信息。
示例配置轮播列表数据源
image.png
并给轮播列表配置标题、边框、字体、颜色等信息,最终展示如下:
image.png

3.展示实时大屏

给大屏的各个插件配置完数据源之后,可根据自行对每个插件进行美化,并适当添加装饰元素,最终的实时大屏如下:

  • 左侧实时显示每个城市的交易额,以及top1城市交易的类目占比
  • 地图实时刷新每一笔交易订单的位置,并实时显示总的销售额
  • 右侧实时显示单品的交易额,以及实时交易情况

image.png
完成以上步骤,就说明你已经学会如何使用交互式分析对接实时计算并生成实时大屏了,交互式分析能够做到实时数据实时写入与查询,秒级交互式响应,双11马上就要到了,实时大屏赶紧准备起来吧!
关于《交互式分析六脉神剑》往期记录,传送门:

  1.  5分钟学会交互式分析?!
  2. 《交互式分析六脉神剑》之Dataworks-HoloStudio初体验
  3. 《交互式分析六脉神剑》之真正的秒级交互式响应

若大家有任何关于交互式分析的问题,欢迎大家进钉钉群开撩小编哦
image.png

相关实践学习
DataV Board用户界面概览
本实验带领用户熟悉DataV Board这款可视化产品的用户界面
阿里云实时数仓实战 - 项目介绍及架构设计
课程简介 1)学习搭建一个数据仓库的过程,理解数据在整个数仓架构的从采集、存储、计算、输出、展示的整个业务流程。 2)整个数仓体系完全搭建在阿里云架构上,理解并学会运用各个服务组件,了解各个组件之间如何配合联动。 3 )前置知识要求   课程大纲 第一章 了解数据仓库概念 初步了解数据仓库是干什么的 第二章 按照企业开发的标准去搭建一个数据仓库 数据仓库的需求是什么 架构 怎么选型怎么购买服务器 第三章 数据生成模块 用户形成数据的一个准备 按照企业的标准,准备了十一张用户行为表 方便使用 第四章 采集模块的搭建 购买阿里云服务器 安装 JDK 安装 Flume 第五章 用户行为数据仓库 严格按照企业的标准开发 第六章 搭建业务数仓理论基础和对表的分类同步 第七章 业务数仓的搭建  业务行为数仓效果图  
相关文章
|
6月前
|
数据采集 人工智能 安全
亮数据:数据采集行业痛点的利器
在数据驱动的时代,企业需高效采集大量数据以作出明智决策,但面临IP限制、验证码识别和效率低下的挑战。BrightData应运而生,提供丰富的代理IP资源、高匿名性和稳定性保障,以及智能IP更换策略,有效解决IP限制问题。其创新的亮数据浏览器工具,通过自动化和AI技术,突破复杂网站结构和反数据采集机制,降低抓取成本,提升效率。BrightData的解决方案已在多个行业中发挥作用,助力企业数字化转型。
1583 0
亮数据:数据采集行业痛点的利器
|
6月前
|
存储 监控 数据可视化
京东618实时数据大屏核心技术解密
京东618实时数据大屏核心技术解密
116 0
京东618实时数据大屏核心技术解密
|
人工智能 搜索推荐 大数据
女朋友问阿里双十一实时大屏如何实现,我惊呆一会,马上手把手教她背后的大数据技术(一)
女朋友问阿里双十一实时大屏如何实现,我惊呆一会,马上手把手教她背后的大数据技术(一)
229 0
女朋友问阿里双十一实时大屏如何实现,我惊呆一会,马上手把手教她背后的大数据技术(一)
|
大数据 Apache 双11
女朋友问阿里双十一实时大屏如何实现,我惊呆一会,马上手把手教她背后的大数据技术(二)
女朋友问阿里双十一实时大屏如何实现,我惊呆一会,马上手把手教她背后的大数据技术(二)
371 0
女朋友问阿里双十一实时大屏如何实现,我惊呆一会,马上手把手教她背后的大数据技术(二)
|
消息中间件 存储 关系型数据库
|
供应链 算法 数据可视化
2020双11数据大屏设计:全球数据博物馆
如果说以往的双11数据大屏展现的是一场大型财经盛典,那今年可是融入了新元素:数据脱口秀。因为我们相信,双11既是件国计民生的大事,也是每个人的事。这一点与以往任何一届双11媒体中心晚会都不同,脱口秀作为一种新兴的艺术化形式,让数据与每个人都产生连接。
8702 0
2020双11数据大屏设计:全球数据博物馆