实时计算在天猫双十一大屏中的应用

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: 案例与解决方案汇总页:阿里云实时计算产品案例&解决方案汇总本文为您介绍实时计算在天猫双十一大屏业务中的应用。天猫双十一大屏背后最强大最核心的支持力量来自于阿里云实时计算。曾经天猫双十一大屏后台流式计算使用开源的Storm来进行开发,整个开发时间长达一个月。

案例与解决方案汇总页:
阿里云实时计算产品案例&解决方案汇总


本文为您介绍实时计算在天猫双十一大屏业务中的应用。


天猫双十一大屏

天猫双十一大屏背后最强大最核心的支持力量来自于阿里云实时计算。曾经天猫双十一大屏后台流式计算使用开源的Storm来进行开发,整个开发时间长达一个月。现在使用阿里云实时计算 SQL,将整个双十一大屏的开发周期缩短到一周,并且由于阿里云实时计算底层完全屏蔽了故障处理、执行优化,最终上线的阿里云实时计算作业比Storm更快、更高效。

下面是天猫双十一整体数据流图。天猫使用了阿里云实时计算平台,让整体处理链路变得更加稳定和高效。


双十一
  1. 用户在线抢购

    海量的天猫用户使用天猫的购买系统进行双十一抢购活动。在天猫交易的高峰期,如11日凌晨0点的诸多秒杀活动,整个实时计算的面临的顶峰性能可能高达数十万订单/秒。

  2. 数据实时采集

    数据采集系统将数据库变更日志采集并进入DataHub系统。使用阿里集团内部的数据库变更日志复制计算(阿里云对应的产品名称为DTS),在线交易数据库即使在零点最高峰交易时段,也可以保证在数秒内将数据写入DataHub。

  3. 数据实时计算

    阿里云实时计算订阅上述DataHub的流式数据,持续读取并计算截止到当前时间点的天猫成交总和。阿里云实时计算单机群规模达数千台,支持吞吐量可达百万级/秒,可以轻松应对天猫每秒数十万笔的交易量。实时计算对数据进行实时的订阅和实时的计算,并将结果数据即时的写入到在线的RDS系统中。

  4. 前端可视化展现

    前端数据可视化组件团队为天猫双十一大屏专门定制了翻牌器、全球交易热点等诸多酷炫内容。前端服务器将定期轮询RDS系统,并利用Web前端技术实现双十一大屏的震撼效果。

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
目录
相关文章
|
1月前
|
分布式计算 数据处理 Apache
Spark和Flink的区别是什么?如何选择?都应用在哪些行业?
【10月更文挑战第10天】Spark和Flink的区别是什么?如何选择?都应用在哪些行业?
154 1
|
4月前
|
存储 监控 大数据
阿里云实时计算Flink在多行业的应用和实践
本文整理自 Flink Forward Asia 2023 中闭门会的分享。主要分享实时计算在各行业的应用实践,对回归实时计算的重点场景进行介绍以及企业如何使用实时计算技术,并且提供一些在技术架构上的参考建议。
818 7
阿里云实时计算Flink在多行业的应用和实践
|
3月前
|
机器学习/深度学习 监控 Serverless
Serverless 应用的监控与调试问题之Flink在内部使用的未来规划,以及接下来有什么打算贡献社区的创新技术
Serverless 应用的监控与调试问题之Flink在内部使用的未来规划,以及接下来有什么打算贡献社区的创新技术
|
3月前
|
机器学习/深度学习 监控 大数据
Serverless 应用的监控与调试问题之Flink在整个开源大数据生态中应该如何定位,差异化该如何保持
Serverless 应用的监控与调试问题之Flink在整个开源大数据生态中应该如何定位,差异化该如何保持
|
3月前
|
存储 监控 Serverless
Serverless 应用的监控与调试问题之Pravega和Flink实现端到端的auto-scaling要如何操作
Serverless 应用的监控与调试问题之Pravega和Flink实现端到端的auto-scaling要如何操作
|
3月前
|
SQL 监控 大数据
Serverless 应用的监控与调试问题之Flink流式数仓对于工商银行的数据链路要如何简化
Serverless 应用的监控与调试问题之Flink流式数仓对于工商银行的数据链路要如何简化
|
3月前
|
存储 监控 Cloud Native
Serverless 应用的监控与调试问题之Flink流批一体在架构层面有什么演进
Serverless 应用的监控与调试问题之Flink流批一体在架构层面有什么演进
|
3月前
|
存储 监控 Serverless
Serverless 应用的监控与调试问题之Flink对于Checkpoint Barrier流动缓慢的问题要如何解决
Serverless 应用的监控与调试问题之Flink对于Checkpoint Barrier流动缓慢的问题要如何解决
|
3月前
|
监控 Java Serverless
美团 Flink 大作业部署问题之想在Serverless平台上实时查看Spring Boot应用的日志要怎么操作
美团 Flink 大作业部署问题之想在Serverless平台上实时查看Spring Boot应用的日志要怎么操作
|
4月前
|
数据采集 资源调度 搜索推荐
Flink在实时搜索引擎索引构建中的深度应用与实践
随着数据源规模的扩大和查询请求的增加,如何优化Flink的性能和资源调度成为了一个重要的问题。Flink提供了多种性能优化手段,如并行度调整、状态后端选择、任务链优化等。同时,Flink还支持与YARN、Kubernetes等集群管理系统集成,实现资源的动态调度和弹性伸缩,以适应不同规模的业务需求。

相关产品

  • 实时计算 Flink版