京东618实时数据大屏核心技术解密

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: 京东618实时数据大屏核心技术解密

一、背景

刚过去的618,京东销量GMV超3000亿。

(1)从用户在京东app、小程序、网页端下单、支付,到最终大屏上GMV和订单量实时累加,这中间究竟发生了什么呢?

(2)如何才能做到,用户下单,大屏上能够实时统计呢?

(3)从用户下单,到最终支付完成,后来又取消了这笔订单,大屏上GMV和订单量的总值如何做到既要保证极高的时效性,又要保证较高的准确性呢?


二、系统整体架构

(1)业务流程梳理:

用户在京东上购物,可能会经过以下几种流程,用户下单、支付订单、取消订单、订单拆单(由于商品在不同的仓库等原因)

(2)大屏整体系统架构

从线上mysql binlog、日志、MQ消息接入(线上数据),存储在JDQ、JMQ当中(数据存储层),通过实时计算组件Flink、Storm等进行实时计算,关联维表数据以及调用线上接口服务JSF进行维度信息关联(实时计算层),最后将计算指标存储在redis、mysql 中,或者将明细数据写入OLAP当中(数据指标层)。最后对外提供服务或者应用,包括:大屏、看板、销量榜单排行等等。

系统整体架构图参照下图:

(3)实际线上业务遇到的问题

a、数据倾斜、redis数据热点?

redis探针解决数据热点问题,对热点key进行hash

b、如果做到精确一次?

采用幂等来进行保证一次的。位运算节省数据存储空间

程序中提升几毫秒、节省几 kB 的内存有必要吗? - 知乎

c、Flink 背压、Flink 调优

增加并发度、优化程序代码、调整slot、避免频繁调线上JSF服务增加缓存

d、数据延迟(订单取消比订单下单先到达)

将所有消息进行存储JDHBase,进行关联,构造宽表,下游业务进行判断

HBase rowKey设计:订单号反转 订单号递增,减少region 写入压力,避免HBase 写入热点

e、高可用保障

主备集群,异地容灾

f、数据质量、数据准确性保障

数据质量告警配置、离线实时数据校验

g、大促压测

h、监控、告警

任务失败监控、消息挤压的监控

m、高时效性

Flink 低延迟计算引擎

(4)数据大屏可视化

阿里云(DataV)

网易有数(EasyScreen)

腾讯云(腾讯云图)

百度Sugar

京东城市莫奈可视化平台


三、总结

本文讲述了京东618实时数据大屏,从用户下单到最终大屏指标计算,呈现给用户。对当中整个流程进行了详细的阐述,以及在开发过程中遇到的问题也进行详细的描述。希望能给搭建大屏的读者提供一个思路。



相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
相关文章
|
存储 消息中间件 缓存
腾讯看点基于 Flink 的实时数仓及多维实时数据分析实践
当业务发展到一定规模,实时数据仓库是一个必要的基础服务。从数据驱动方面考虑,多维实时数据分析系统的重要性也不言而喻。但是当数据量巨大的情况下,拿腾讯看点来说,一天上报的数据量达到万亿级的规模,要实现极低延迟的实时计算和亚秒级的多维实时查询是有技术挑战的。
腾讯看点基于 Flink 的实时数仓及多维实时数据分析实践
|
7月前
|
存储 消息中间件 SQL
分钟级实时数据分析的背后——实时湖仓产品解决方案
袋鼠云在结合当前数据湖技术的基础上,建设实时湖仓平台,满足客户“快、精、准”的数据需求。本文将详细介绍实时湖仓产品解决方案,让企业能够更专注地去解决他们的业务价值。
160 0
|
移动开发 前端开发 JavaScript
优酷大屏前端技术用到什么
优酷大屏前端技术用到什么
|
存储 消息中间件 数据可视化
Dataphin实时研发实践—电商场景下的实时数据大屏构建
实时数据大屏是实时计算的重要应用场景之一,广泛应用在电商业务中,用于实时监控和分析电商平台的运营情况。通过大屏展示实时的销售额、订单量、用户活跃度、商品热度等数据指标,帮助业务人员随时了解业务的实时状态,快速发现问题和机会。同时,通过数据可视化和趋势分析,大屏也提供了决策支持和优化运营的功能,帮助业务人员做出及时的决策和调整策略,优化电商业务的运营效果。 下面以电商业务为背景,介绍如何构建经典实时数仓,实现实时数据从业务库到ODS层、DWD层、DWS层全链路流转,基于Dataphin和Quick BI实现实时数据大屏。
577 0
|
数据处理
京东数据处理方案
京东数据处理方案
|
7月前
|
数据可视化 关系型数据库 MySQL
互联网电商与游戏行业实时BI分析
本文以电商行业为例,将业务数据和日志数据同步到 ADB,之后通过 Quick BI 做实时可视化分析。相对于传统的关系型数据库,阿里云分析型数据库 MySQL 版只需要几毫秒的时间,即可查询 PB 级数据并从中找到匹配信息。
互联网电商与游戏行业实时BI分析
|
弹性计算 监控 JavaScript
互联网电商与游戏行业实时BI分析最佳实践
本文以电商行业为例,将业务数据和日志数据同步到ADB,之后通过QuickBI做实时可视化分析。相对于传统的关系型数据库,阿里云分析型数据库MySQL版只需要几毫秒的时间,即可查询PB级数据并从中找到匹配信息。
393 0
互联网电商与游戏行业实时BI分析最佳实践
|
存储 SQL 搜索推荐
阿里巴巴电商搜索推荐实时数仓演进之路
自建实时数仓到底难在哪里?实时数仓应该怎么建?阿里巴巴搜索团队告诉您答案
14365 1
阿里巴巴电商搜索推荐实时数仓演进之路
|
SQL 数据采集 运维
实时数仓入门训练营:实时数仓助力互联网实时决策和精准营销
《实时数仓入门训练营》由阿里云研究员王峰、阿里云高级产品专家刘一鸣等实时计算Flink版和 Hologres 的多名技术/产品一线专家齐上阵,合力搭建此次训练营的课程体系,精心打磨课程内容,直击当下同学们所遇到的痛点问题。由浅入深全方位解析实时数仓的架构、场景、以及实操应用,7 门精品课程帮助你 5 天时间从小白成长为大牛!
实时数仓入门训练营:实时数仓助力互联网实时决策和精准营销
|
存储 弹性计算 关系型数据库
互联网、游戏等行业实时数仓构建
基于Flink构建实时数仓,包含采集日志,Flink对日志的拆分、处理写入ADB存储和HDFS。
互联网、游戏等行业实时数仓构建

热门文章

最新文章