实时计算在天猫双十一大屏中的应用

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: 案例与解决方案汇总页:阿里云实时计算产品案例&解决方案汇总本文为您介绍实时计算在天猫双十一大屏业务中的应用。天猫双十一大屏背后最强大最核心的支持力量来自于阿里云实时计算。曾经天猫双十一大屏后台流式计算使用开源的Storm来进行开发,整个开发时间长达一个月。

案例与解决方案汇总页:
阿里云实时计算产品案例&解决方案汇总


本文为您介绍实时计算在天猫双十一大屏业务中的应用。


天猫双十一大屏

天猫双十一大屏背后最强大最核心的支持力量来自于阿里云实时计算。曾经天猫双十一大屏后台流式计算使用开源的Storm来进行开发,整个开发时间长达一个月。现在使用阿里云实时计算 SQL,将整个双十一大屏的开发周期缩短到一周,并且由于阿里云实时计算底层完全屏蔽了故障处理、执行优化,最终上线的阿里云实时计算作业比Storm更快、更高效。

下面是天猫双十一整体数据流图。天猫使用了阿里云实时计算平台,让整体处理链路变得更加稳定和高效。


双十一
  1. 用户在线抢购

    海量的天猫用户使用天猫的购买系统进行双十一抢购活动。在天猫交易的高峰期,如11日凌晨0点的诸多秒杀活动,整个实时计算的面临的顶峰性能可能高达数十万订单/秒。

  2. 数据实时采集

    数据采集系统将数据库变更日志采集并进入DataHub系统。使用阿里集团内部的数据库变更日志复制计算(阿里云对应的产品名称为DTS),在线交易数据库即使在零点最高峰交易时段,也可以保证在数秒内将数据写入DataHub。

  3. 数据实时计算

    阿里云实时计算订阅上述DataHub的流式数据,持续读取并计算截止到当前时间点的天猫成交总和。阿里云实时计算单机群规模达数千台,支持吞吐量可达百万级/秒,可以轻松应对天猫每秒数十万笔的交易量。实时计算对数据进行实时的订阅和实时的计算,并将结果数据即时的写入到在线的RDS系统中。

  4. 前端可视化展现

    前端数据可视化组件团队为天猫双十一大屏专门定制了翻牌器、全球交易热点等诸多酷炫内容。前端服务器将定期轮询RDS系统,并利用Web前端技术实现双十一大屏的震撼效果。

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
目录
相关文章
|
2月前
|
SQL 分布式计算 流计算
Flink在各大互联网公司的应用
Flink在各大互联网公司的应用
39 0
|
2月前
|
机器学习/深度学习 搜索推荐 算法
优秀的推荐系统架构与应用:从YouTube到Pinterest、Flink和阿里巴巴
优秀的推荐系统架构与应用:从YouTube到Pinterest、Flink和阿里巴巴
145 0
|
1月前
|
SQL 搜索推荐 OLAP
Flink 流批一体场景应用及落地情况
本文由阿里云 Flink 团队苏轩楠老师撰写,旨在介绍 Flink 流批一体在几个常见场景下的应用。
67625 4
Flink 流批一体场景应用及落地情况
|
1天前
|
监控 数据可视化 BI
基于Dataphin+Flink构建期货交易监察实时应用
新一代证券交易监察系统利用大数据和实时计算技术强化风险控制、交易数据处理、识别异常交易等能力。通过Dataphin与Flink结合,构建期货交易监察实时数据应用;借助QuickBI用于打造实时看板和预警体系,实现期货交易监察的实时可视化分析和自动化预警。
|
22天前
|
消息中间件 分布式计算 Kafka
深度分析:Apache Flink及其在大数据处理中的应用
Apache Flink是低延迟、高吞吐量的流处理框架,以其状态管理和事件时间处理能力脱颖而出。与Apache Spark Streaming相比,Flink在实时性上更强,但Spark生态系统更丰富。Apache Storm在低延迟上有优势,而Kafka Streams适合轻量级流处理。选型考虑延迟、状态管理、生态系统和运维成本。Flink适用于实时数据分析、复杂事件处理等场景,使用时注意资源配置、状态管理和窗口操作的优化。
|
1月前
|
SQL Kubernetes 数据处理
实时计算 Flink版产品使用问题之在 flink-conf.yaml 中定义的配置在某些情况下未被正确应用到 K8s 上运行的任务管理器(JobManager)和任务管理节点(TaskManager),是什么导致的
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
2月前
|
SQL 运维 DataWorks
Flink CDC在阿里云DataWorks数据集成应用实践
本文整理自阿里云 DataWorks 数据集成团队的高级技术专家 王明亚(云时)老师在 Flink Forward Asia 2023 中数据集成专场的分享。
1260 2
Flink CDC在阿里云DataWorks数据集成应用实践
|
2月前
|
机器学习/深度学习 消息中间件 算法
Flink ML的新特性解析与应用
本文整理自阿里巴巴算法专家赵伟波,在 Flink Forward Asia 2023 AI特征工程专场的分享。
129447 5
Flink ML的新特性解析与应用
|
2月前
|
SQL 存储 人工智能
Flink 在蚂蚁实时特征平台的深度应用
本文整理自蚂蚁集团高级技术专家赵亮星云,在 Flink Forward Asia 2023 AI 特征工程专场的分享。
796 3
Flink 在蚂蚁实时特征平台的深度应用
|
2月前
|
机器学习/深度学习 分布式计算 BI
Flink实时流处理框架原理与应用:面试经验与必备知识点解析
【4月更文挑战第9天】本文详尽探讨了Flink实时流处理框架的原理,包括运行时架构、数据流模型、状态管理和容错机制、资源调度与优化以及与外部系统的集成。此外,还介绍了Flink在实时数据管道、分析、数仓与BI、机器学习等领域的应用实践。同时,文章提供了面试经验与常见问题解析,如Flink与其他系统的对比、实际项目挑战及解决方案,并展望了Flink的未来发展趋势。附带Java DataStream API代码样例,为学习和面试准备提供了实用素材。
314 0

热门文章

最新文章

相关产品

  • 实时计算 Flink版