实时计算案例:阿里巴巴双11大屏

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: 每年的双 11 于阿里而言都是一次数据大考,天猫双 11 大屏更是万众瞩目,全球大数据泄洪般涌 入,对数据处理系统提出了极高的要求:低延迟,GMV 首屏显数控制 5s 以内;高并发,实时日志处理峰值每秒 17 亿条(约合每秒 1.7 TB);高稳定,全球直播,不能间断。阿里云实时计算面临着各项性能极高要求的巨大挑 战,在这种场景下阿里云实时计算迎难而上,给出了完美的答卷。

挑战

2018 年 11 月12 日零点 , 天猫双 11 大屏显示全球狂欢节全天成交额 2135 亿元, 再创纪录新高 , 同时物流订单量 也超过 10 亿。每年的双 11 于阿里而言都是一次数据大考,天猫双 11 大屏更是万众瞩目,全球大数据泄洪般涌 入,对数据处理系统提出了极高的要求:低延迟,GMV 首屏显数控制 5s 以内;高并发,实时日志处理峰值每秒 17 亿条(约合每秒 1.7 TB);高稳定,全球直播,不能间断。阿里云实时计算面临着各项性能极高要求的巨大挑 战,在这种场景下阿里云实时计算迎难而上,给出了完美的答卷。

解决方案

2018 年的天猫双 11 大屏在实时数据处理上完全采用了实时计算作为计算引擎。首先,双 11 场景数据来源多样 化,例如:TT,SLS 等,实时计算支持多方输入与输出并支持多条数据流的对接,能够方便快捷地连接计算场 景。其次,实时计算作为批流统一的大数据计算引擎,既能支持流计算也能支持批计算;实时计算的批计算能力 能帮助业务大幅减少数据的 IO,提高计算速度与效率。再次,在准确性上,实时计算的 Exactly-once 特性与背 压策略保证了数据的计算速度,保证数据不重复不丢失;同时在稳定性上,实时计算的监控以及 Failover 加快照 点机制保障,失败数据必须全部从快照点处重新计算,保障了数据的准确性。最后,实时计算还支持历史数据回 刷保障了数据容灾,利用数据回刷能力进行大量压测验证保存 30 天的订单数据能够在 10 分钟内全部计算完 成。

业务优势

2018 年双 11,阿里巴巴集团数十个 BU 都采用实时计算解决其流计算、实时数据分析与统计等问题。实时计算 的强大 Flink SQL 使双 11 各项业务整体性能提升 1 倍多,大约节省几千台机器成本。实时计算对天猫双 11 海量 成交数据的实时分析不仅成功应用在大屏展示中,还为商家实时查看后台数据提供支持,确保了双 11 大屏展示 各项奇迹的同时也为商家,小二提供包括成交,会员,种草,好友,消息等多种业务实时数据,并能够根据业务 场景设立实时的排行,促进线下场景中导购的积极度,为双 11 的实时交易额创造新的增量。

客户评价

实时计算在数据处理上,依靠增量模型,微批处理,分布式计算,性能优化等从上到下减少了计算数据,提升 了计算能力也保证了秒级数据实时算力。在准确性上,实时计算依靠增量模型,状态管理,容灾恢复,强大的 调试工具保证了数据计算的准确性。在稳定上,实时计算通过增量模型,热点解决,背压调整,容灾恢复,各 种性能优化保证天猫双 11 大屏数据链路的稳定性,完美应对了天猫双 11 大屏的各项挑战。

实时计算 Flink 版产品交流群

test

阿里云实时计算Flink - 解决方案:
https://developer.aliyun.com/article/765097
阿里云实时计算Flink - 场景案例:
https://ververica.cn/corporate-practice
阿里云实时计算Flink - 产品详情页:
https://www.aliyun.com/product/bigdata/product/sc

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
相关文章
|
5月前
|
SQL 存储 分布式计算
阿里巴巴瓴羊基于 Flink 实时计算的优化和实践
本⽂整理⾃阿里云智能集团技术专家王柳焮⽼师在 Flink Forward Asia 2023 中平台建设专场的分享。
570 2
阿里巴巴瓴羊基于 Flink 实时计算的优化和实践
|
5月前
|
机器学习/深度学习 搜索推荐 算法
优秀的推荐系统架构与应用:从YouTube到Pinterest、Flink和阿里巴巴
优秀的推荐系统架构与应用:从YouTube到Pinterest、Flink和阿里巴巴
183 0
|
5月前
|
NoSQL API MongoDB
实时计算 Flink版产品使用合集之断点续传的案例在哪里可以找到
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
5月前
|
传感器 存储 缓存
[尚硅谷flink学习笔记] 实战案例TopN 问题
这段内容是关于如何使用Apache Flink解决实时统计水位传感器数据中,在一定时间窗口内出现次数最多的水位问题,即"Top N"问题。首先,介绍了一个使用滑动窗口的简单实现,通过收集传感器数据,按照水位计数,然后排序并输出前两名。接着,提出了全窗口和优化方案,其中优化包括按键分区(按水位vc分组)、开窗操作(增量聚合计算count)和过程函数处理(聚合并排序输出Top N结果)。最后,给出了一个使用`KeyedProcessFunction`进行优化的示例代码,通过按键by窗口结束时间,确保每个窗口的所有数据到达后再进行处理,提高了效率。
153 1
|
5月前
|
消息中间件 API Apache
官宣|阿里巴巴捐赠的 Flink CDC 项目正式加入 Apache 基金会
本文整理自阿里云开源大数据平台徐榜江 (雪尽),关于阿里巴巴捐赠的 Flink CDC 项目正式加入 Apache 基金会。
2058 2
官宣|阿里巴巴捐赠的 Flink CDC 项目正式加入 Apache 基金会
|
11月前
|
分布式计算 Java API
Flink教程(04)- Flink入门案例
Flink教程(04)- Flink入门案例
113 0
|
10月前
|
消息中间件 存储 Kafka
flink马屎咖啡馆案例
flink马屎咖啡馆案例
40 1
|
11月前
|
SQL 消息中间件 Kafka
Flink教程(17)- Flink Table与SQL(案例与SQL算子)
Flink教程(17)- Flink Table与SQL(案例与SQL算子)
178 0
|
5月前
|
数据可视化 JavaScript 关系型数据库
基于Flume+Kafka+Hbase+Flink+FineBI的实时综合案例(五)FineBI可视化
基于Flume+Kafka+Hbase+Flink+FineBI的实时综合案例(五)FineBI可视化
105 0
|
5月前
|
SQL 消息中间件 关系型数据库
基于Flume+Kafka+Hbase+Flink+FineBI的实时综合案例(四)实时计算需求及技术方案
基于Flume+Kafka+Hbase+Flink+FineBI的实时综合案例(四)实时计算需求及技术方案
150 0

相关产品

  • 实时计算 Flink版