轻松hold住双11数据洪峰背后的秘密

简介:

双11刚刚拉下帷幕,激动的心还停留在那一刻——当秒针刚跨过11号零点的一瞬间,来自线上线下的千万剁手党在第一时间涌入了这场年度大趴——从进入会场到点击详情页,再到下单付款一气呵成。

前台在大家狂欢的同时,后台数据流量也正以突破历史新高的洪峰形式急剧涌入:
- 支付成功峰值达 25.6 万笔/秒
- 实时数据处理峰值 4.72亿条/秒

而作为实时数据处理任务中最为重要的集团数据公共层(保障着业务的实时数据、媒体大屏等核心任务),在当天的总数据处理峰值更是创历史新高达1.8亿/秒!

想象下,1秒钟时间内千万人涌入双11会场的同时,依然应对自如!

面对流量峰值为去年100%增幅的数据洪峰,流计算技术今天我们突破的不止一点点,现在让我们揭开覆盖全集团实时数据的最新流计算技术吧!

流计算的产生即来源于数据加工时效性的严苛需求:

由于数据的业务价值会随着时间的流失而迅速降低,因此在数据发生后必须尽快对其进行计算和处理,从而能够通过数据第一时间掌握业务情况。今年双11的流计算也面临着一场实时数据洪峰的考验。

首先来展示今年(2017年)较去年(2016年)数据洪峰峰值的比较:

2016年:支付成功峰值12万笔/秒,总数据处理峰值9300万/秒
2017年:支付成功峰值25.6 万笔/秒,实时数据处理峰值 4.72亿条/秒,阿里巴巴集团数据公共层总数据处理峰值1.8亿/秒

在今年双11流量峰值翻翻的情况下,依然稳固做到实时数据更新频率:
——从第1秒千万剁手党涌入到下单付款,到完成实时计算投放至媒体大屏全路径,秒级响应!

面对越发抬升的流量面前,实时数据却越来越快、越来越准!在轻松hold住数据洪峰的背后,是阿里巴巴流计算技术的全面升级。

050af07f6c998f98379563e2153eaf4187fc4ed5

阿里数据在11月28日的北京,将会举办一场闭门分享。你可以了解,技术创新的背后,数据人是如何为之努力的。针对流计算环节,我们将分享

流计算应用场景

数据中台流计算实践中的数据链路

计算引擎升级及优化

……

同时,本次双11闭门分享还会涉及:双11数据保障始末、又准又快的实时计算、酷炫到飞起来的媒体大屏……

同时,本次双11闭门分享还会涉及:双11数据保障始末、又准又快的实时计算、酷炫到飞起来的媒体大屏……

09fdd2a77a4516466f914e77c67731e5e70132fa



原文发布时间为:2017-11-21

本文作者:双11分享北京站

本文来自云栖社区合作伙伴“阿里数据”,了解相关信息可以关注“阿里数据”微信公众号

相关文章
deb官方源、国内源
deb官方源、国内源
1747 0
|
存储 弹性计算 调度
这个双11,我们提供了1000000核算力资源
这个双11,我们提供了1000000核算力资源
317 4
|
移动开发 前端开发 Java
|
机器学习/深度学习 人工智能 算法
目标检测技术研究现状及发展趋势
随着人工智能、深度学习技术的快速发展,受到深度学习在自然场景图像目标检测中的成功应用的影响,许多学者尝试将深度学习方法应用于图像的目标检测中,基于卷积神经网络的目标检测成为发展趋势。
2143 0
目标检测技术研究现状及发展趋势
|
存储 消息中间件 Cloud Native
饿了么EMonitor演进史
可观测性作为技术体系的核心环节之一,跟随饿了么技术的飞速发展,不断自我革新。
8115 104
饿了么EMonitor演进史
|
缓存 Linux Shell
Linux使用crontab定时任务定时备份数据库
Linux使用crontab定时任务定时备份数据库
388 0
|
SQL Oracle 关系型数据库
SQL中按分隔符拆分字符串
SQL中按分隔符拆分字符串
|
存储 分布式计算 JavaScript
Fury系列(四):一个比Kryo/Hessian快30~40倍的类型前后兼容序列化器
问题背景类型前后兼容是复杂业务场景序列化的常见需求。在快速迭代的业务场景当中,读写端经常发生对象字段发生变更:在线应用场景:线上SOFA/HSF应用提供服务给多个调用方,服务的滚动升级以及各个调用方独立更新都可能导致对象类型不一致的情况;在线服务场景:在线服务框架常驻不更改对象类型,但调用方业务逻辑变动独立更新导致对象字段跟服务端不一致;对象持久化场景:对象数据序列化后持久化写入存储(如Spark
1032 0
Fury系列(四):一个比Kryo/Hessian快30~40倍的类型前后兼容序列化器
|
传感器 IDE JavaScript
如何制作一个水平仪|学习笔记
快速学习如何制作一个水平仪。
1098 0
如何制作一个水平仪|学习笔记