双11就要来了,实时大屏准备好了吗?
双11马上就要到了,是不是还在为如何用最短的代码做出最酷炫的实时大屏而苦苦挣扎?运营mm要大屏实时刷新,最好秒级返回关键指标数据;研发gg不想熬夜学习多套系统,只想用一套代码就解决存储、查询、对接BI工具等多种问题......
以往大家做实时大屏,最常用的方法可能是将数据存在消息日志/数据库中,通过实时计算(Flink)去实时处理数据,将数据初步聚合后写入到数据库中,再对接实时大屏。整个链路中,数据存储和高并发的查询是最需要解决的问题,而市面上满足存储要求的产品并不能提供多元化的查询服务,满足查询要求的产品又需要维护多套存储系统,开发、运维的成本都只升不降....
就在大家为各种问题争分夺秒苦苦挣扎时,小编带着《交互式分析六脉神剑》来了。六脉神剑的第4剑是指右手小指—少阴—心经—少冲剑,其特点是轻灵迅速。而交互式分析的另一核心功能是能够直接对接实时计算(Flink),实现实时数据实时写入实时查询,秒级交互式响应。同时还兼容PostgreSQL生态,能将查询到的实时数据直接对接BI分析工具,快速实现数据的可视化展现和分析。整个链路图展示如下;
今天小编将通过做一个双11交易实时大屏的案例,来讲述如何实现从数据采集--数据处理--数据服务--实时大屏的完整链路。
案例背景:某手机专营店想利用实时大屏实时展示当前类目的交易数据。
数据处理平台:实时计算
数据服务平台:HoloStudio(有关HoloStudio的介绍可参见HoloStudio简介)
实时大屏:DataV
前提准备
1.开通交互式分析服务,请参见开通实例。
2.开通实时计算服务,请参见开通服务和创建项目。
3.开通DataV服务,请参见开通DataV服务。
操作步骤
因涉及业务敏感数据,本案例只展示如何使用实时计算将数据进行初步聚合,再由交互式分析实时查询数据并对接到实时大屏DataV,关于如何采集数据在此不做阐述。
实时计算实时清洗数据
在实时计算里面将采集到的数据做初步的清洗聚合,将表数据连接到交互式分析,示例SQL如下:
create table holo_sink (id BIGINT, user_id BIGINT, item_name VARCHAR, number INT, cost FLOAT, province VARCHAR, city VARCHAR, salltime TIMESTAMP) with (
type = 'custom',
tableFactoryClass = 'com.alibaba.blink.connectors.hologres.HologresTableFactory',
`endpoint` = '交互式分析vpc网络地址',
`userName` = '当前账号的Access ID',
`password` = '当前账号的Access Key',
`dbName` = '连接的交互式分析数据库',
`tableName` = '要映射的交互式分析表'
);
交互式分析实时写入查询
在交互式分析中可直接将实时计算里面的数据实时写入实时查询,达到秒级返回。本案例中使用HoloStudio来执行查询,关于Holostudio的介绍,可以参见HoloStudio简介。
整张表查询出来的部分数据如下:
DataV实时大屏
在交互式分析中查询完数据后,可使用交互式分析对接DataV,制作实时大屏,具体操作步骤如下:
1.添加数据源
在DataV首页选择PostgreSQL数据源,并填写配置信息
配置项 | 说明 |
---|---|
类型 | PostgresSQL数据源 |
名称 | 自定义 |
域名 | 交互式分析的公共网络地址 |
用户名 | 当前账号的Access ID |
密码 | 当前账号的Access Key |
端口 | 交互式分析的公共网络端口 |
数据库 | 可选择表所在的数据库 |
2.创建实时大屏
根据大屏想要显示的内容,选择需要的插件。本案例中选择了基本柱状、轮播、基础平面地图、数字翻牌器等。并给每个插件按照展示内容配置数据源信息。
示例配置轮播列表数据源
并给轮播列表配置标题、边框、字体、颜色等信息,最终展示如下:
3.展示实时大屏
给大屏的各个插件配置完数据源之后,可根据自行对每个插件进行美化,并适当添加装饰元素,最终的实时大屏如下:
- 左侧实时显示每个城市的交易额,以及top1城市交易的类目占比
- 地图实时刷新每一笔交易订单的位置,并实时显示总的销售额
- 右侧实时显示单品的交易额,以及实时交易情况
完成以上步骤,就说明你已经学会如何使用交互式分析对接实时计算并生成实时大屏了,交互式分析能够做到实时数据实时写入与查询,秒级交互式响应,双11马上就要到了,实时大屏赶紧准备起来吧!
关于《交互式分析六脉神剑》往期记录,传送门:
若大家有任何关于交互式分析的问题,欢迎大家进钉钉群开撩小编哦