实时计算案例:阿里巴巴双11大屏

本文涉及的产品
实时计算 Flink 版,1000CU*H 3个月
简介: 每年的双 11 于阿里而言都是一次数据大考,天猫双 11 大屏更是万众瞩目,全球大数据泄洪般涌 入,对数据处理系统提出了极高的要求:低延迟,GMV 首屏显数控制 5s 以内;高并发,实时日志处理峰值每秒 17 亿条(约合每秒 1.7 TB);高稳定,全球直播,不能间断。阿里云实时计算面临着各项性能极高要求的巨大挑 战,在这种场景下阿里云实时计算迎难而上,给出了完美的答卷。

挑战

2018 年 11 月12 日零点 , 天猫双 11 大屏显示全球狂欢节全天成交额 2135 亿元, 再创纪录新高 , 同时物流订单量 也超过 10 亿。每年的双 11 于阿里而言都是一次数据大考,天猫双 11 大屏更是万众瞩目,全球大数据泄洪般涌 入,对数据处理系统提出了极高的要求:低延迟,GMV 首屏显数控制 5s 以内;高并发,实时日志处理峰值每秒 17 亿条(约合每秒 1.7 TB);高稳定,全球直播,不能间断。阿里云实时计算面临着各项性能极高要求的巨大挑 战,在这种场景下阿里云实时计算迎难而上,给出了完美的答卷。

解决方案

2018 年的天猫双 11 大屏在实时数据处理上完全采用了实时计算作为计算引擎。首先,双 11 场景数据来源多样 化,例如:TT,SLS 等,实时计算支持多方输入与输出并支持多条数据流的对接,能够方便快捷地连接计算场 景。其次,实时计算作为批流统一的大数据计算引擎,既能支持流计算也能支持批计算;实时计算的批计算能力 能帮助业务大幅减少数据的 IO,提高计算速度与效率。再次,在准确性上,实时计算的 Exactly-once 特性与背 压策略保证了数据的计算速度,保证数据不重复不丢失;同时在稳定性上,实时计算的监控以及 Failover 加快照 点机制保障,失败数据必须全部从快照点处重新计算,保障了数据的准确性。最后,实时计算还支持历史数据回 刷保障了数据容灾,利用数据回刷能力进行大量压测验证保存 30 天的订单数据能够在 10 分钟内全部计算完 成。

业务优势

2018 年双 11,阿里巴巴集团数十个 BU 都采用实时计算解决其流计算、实时数据分析与统计等问题。实时计算 的强大 Flink SQL 使双 11 各项业务整体性能提升 1 倍多,大约节省几千台机器成本。实时计算对天猫双 11 海量 成交数据的实时分析不仅成功应用在大屏展示中,还为商家实时查看后台数据提供支持,确保了双 11 大屏展示 各项奇迹的同时也为商家,小二提供包括成交,会员,种草,好友,消息等多种业务实时数据,并能够根据业务 场景设立实时的排行,促进线下场景中导购的积极度,为双 11 的实时交易额创造新的增量。

客户评价

实时计算在数据处理上,依靠增量模型,微批处理,分布式计算,性能优化等从上到下减少了计算数据,提升 了计算能力也保证了秒级数据实时算力。在准确性上,实时计算依靠增量模型,状态管理,容灾恢复,强大的 调试工具保证了数据计算的准确性。在稳定上,实时计算通过增量模型,热点解决,背压调整,容灾恢复,各 种性能优化保证天猫双 11 大屏数据链路的稳定性,完美应对了天猫双 11 大屏的各项挑战。

实时计算 Flink 版产品交流群

test

阿里云实时计算Flink - 解决方案:
https://developer.aliyun.com/article/765097
阿里云实时计算Flink - 场景案例:
https://ververica.cn/corporate-practice
阿里云实时计算Flink - 产品详情页:
https://www.aliyun.com/product/bigdata/product/sc

相关实践学习
基于Hologres+Flink搭建GitHub实时数据大屏
通过使用Flink、Hologres构建实时数仓,并通过Hologres对接BI分析工具(以DataV为例),实现海量数据实时分析.
实时计算 Flink 实战课程
如何使用实时计算 Flink 搞定数据处理难题?实时计算 Flink 极客训练营产品、技术专家齐上阵,从开源 Flink功能介绍到实时计算 Flink 优势详解,现场实操,5天即可上手! 欢迎开通实时计算 Flink 版: https://cn.aliyun.com/product/bigdata/sc Flink Forward Asia 介绍: Flink Forward 是由 Apache 官方授权,Apache Flink Community China 支持的会议,通过参会不仅可以了解到 Flink 社区的最新动态和发展计划,还可以了解到国内外一线大厂围绕 Flink 生态的生产实践经验,是 Flink 开发者和使用者不可错过的盛会。 去年经过品牌升级后的 Flink Forward Asia 吸引了超过2000人线下参与,一举成为国内最大的 Apache 顶级项目会议。结合2020年的特殊情况,Flink Forward Asia 2020 将在12月26日以线上峰会的形式与大家见面。
相关文章
|
SQL 存储 分布式计算
阿里巴巴瓴羊基于 Flink 实时计算的优化和实践
本⽂整理⾃阿里云智能集团技术专家王柳焮⽼师在 Flink Forward Asia 2023 中平台建设专场的分享。
895 2
阿里巴巴瓴羊基于 Flink 实时计算的优化和实践
|
机器学习/深度学习 搜索推荐 算法
优秀的推荐系统架构与应用:从YouTube到Pinterest、Flink和阿里巴巴
优秀的推荐系统架构与应用:从YouTube到Pinterest、Flink和阿里巴巴
419 0
|
11月前
|
分布式计算 监控 大数据
大数据-131 - Flink CEP 案例:检测交易活跃用户、超时未交付
大数据-131 - Flink CEP 案例:检测交易活跃用户、超时未交付
240 0
|
11月前
|
消息中间件 关系型数据库 MySQL
大数据-117 - Flink DataStream Sink 案例:写出到MySQL、写出到Kafka
大数据-117 - Flink DataStream Sink 案例:写出到MySQL、写出到Kafka
663 0
|
6月前
|
消息中间件 JSON 数据库
探索Flink动态CEP:杭州银行的实战案例
探索Flink动态CEP:杭州银行的实战案例
215 5
|
9月前
|
消息中间件 JSON 数据库
探索Flink动态CEP:杭州银行的实战案例
本文由杭州银行大数据工程师唐占峰、欧阳武林撰写,介绍Flink动态CEP的定义、应用场景、技术实现及使用方式。Flink动态CEP是基于Flink的复杂事件处理库,支持在不重启服务的情况下动态更新规则,适应快速变化的业务需求。文章详细阐述了其在反洗钱、反欺诈和实时营销等金融领域的应用,并展示了某金融机构的实际应用案例。通过动态CEP,用户可以实时调整规则,提高系统的灵活性和响应速度,降低维护成本。文中还提供了具体的代码示例和技术细节,帮助读者理解和使用Flink动态CEP。
1113 2
探索Flink动态CEP:杭州银行的实战案例
|
9月前
|
数据处理 数据安全/隐私保护 流计算
Flink 三种时间窗口、窗口处理函数使用及案例
Flink 是处理无界数据流的强大工具,提供了丰富的窗口机制。本文介绍了三种时间窗口(滚动窗口、滑动窗口和会话窗口)及其使用方法,包括时间窗口的概念、窗口处理函数的使用和实际案例。通过这些机制,可以灵活地对数据流进行分析和计算,满足不同的业务需求。
1012 27
|
11月前
|
SQL 大数据 API
大数据-132 - Flink SQL 基本介绍 与 HelloWorld案例
大数据-132 - Flink SQL 基本介绍 与 HelloWorld案例
223 0
|
11月前
|
SQL 消息中间件 分布式计算
大数据-130 - Flink CEP 详解 - CEP开发流程 与 案例实践:恶意登录检测实现
大数据-130 - Flink CEP 详解 - CEP开发流程 与 案例实践:恶意登录检测实现
296 0
|
11月前
|
消息中间件 NoSQL Kafka
大数据-116 - Flink DataStream Sink 原理、概念、常见Sink类型 配置与使用 附带案例1:消费Kafka写到Redis
大数据-116 - Flink DataStream Sink 原理、概念、常见Sink类型 配置与使用 附带案例1:消费Kafka写到Redis
710 0

相关产品

  • 实时计算 Flink版