轻松hold住双11数据洪峰背后的秘密

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
可视分析地图(DataV-Atlas),3 个项目,100M 存储空间
数据可视化DataV,5个大屏 1个月
简介:

双11刚刚拉下帷幕,激动的心还停留在那一刻——当秒针刚跨过11号零点的一瞬间,来自线上线下的千万剁手党在第一时间涌入了这场年度大趴——从进入会场到点击详情页,再到下单付款一气呵成。

前台在大家狂欢的同时,后台数据流量也正以突破历史新高的洪峰形式急剧涌入:
- 支付成功峰值达 25.6 万笔/秒
- 实时数据处理峰值 4.72亿条/秒

而作为实时数据处理任务中最为重要的集团数据公共层(保障着业务的实时数据、媒体大屏等核心任务),在当天的总数据处理峰值更是创历史新高达1.8亿/秒!

想象下,1秒钟时间内千万人涌入双11会场的同时,依然应对自如!

面对流量峰值为去年100%增幅的数据洪峰,流计算技术今天我们突破的不止一点点,现在让我们揭开覆盖全集团实时数据的最新流计算技术吧!

流计算的产生即来源于数据加工时效性的严苛需求:

由于数据的业务价值会随着时间的流失而迅速降低,因此在数据发生后必须尽快对其进行计算和处理,从而能够通过数据第一时间掌握业务情况。今年双11的流计算也面临着一场实时数据洪峰的考验。

首先来展示今年(2017年)较去年(2016年)数据洪峰峰值的比较:

2016年:支付成功峰值12万笔/秒,总数据处理峰值9300万/秒
2017年:支付成功峰值25.6 万笔/秒,实时数据处理峰值 4.72亿条/秒,阿里巴巴集团数据公共层总数据处理峰值1.8亿/秒

在今年双11流量峰值翻翻的情况下,依然稳固做到实时数据更新频率:
——从第1秒千万剁手党涌入到下单付款,到完成实时计算投放至媒体大屏全路径,秒级响应!

面对越发抬升的流量面前,实时数据却越来越快、越来越准!在轻松hold住数据洪峰的背后,是阿里巴巴流计算技术的全面升级。

050af07f6c998f98379563e2153eaf4187fc4ed5

阿里数据在11月28日的北京,将会举办一场闭门分享。你可以了解,技术创新的背后,数据人是如何为之努力的。针对流计算环节,我们将分享

流计算应用场景

数据中台流计算实践中的数据链路

计算引擎升级及优化

……

同时,本次双11闭门分享还会涉及:双11数据保障始末、又准又快的实时计算、酷炫到飞起来的媒体大屏……

同时,本次双11闭门分享还会涉及:双11数据保障始末、又准又快的实时计算、酷炫到飞起来的媒体大屏……

09fdd2a77a4516466f914e77c67731e5e70132fa



原文发布时间为:2017-11-21

本文作者:双11分享北京站

本文来自云栖社区合作伙伴“阿里数据”,了解相关信息可以关注“阿里数据”微信公众号

相关文章
|
3月前
|
NoSQL Redis 开发者
go-zero 如何扛住流量冲击(二)
go-zero 如何扛住流量冲击(二)
|
3月前
|
NoSQL 前端开发 Redis
go-zero 如何扛住流量冲击(一)
go-zero 如何扛住流量冲击(一)
|
6月前
|
存储 容灾 Cloud Native
特殊时期,钉钉如何通过单元化扛住流量高峰?
本文介绍了在最近几年里钉钉这款软件的发展与优化迭代,以及对未来的展望
|
数据安全/隐私保护
今天我们就浅聊一下共享WiFi连一次有多少的收入以及每天大概会有多少的一个收益情况
具体多少钱需要看后台怎么设定,假设后台设定是0.3毛,然后就是把这0.3毛分给团长和拓展员还有商家,具体比例每个人不同。你们也不要看单价少有句话说的好苍蝇再小也是肉,滴水穿石,很多大钱都是小钱积累来的,如果不能靠质量取胜,那就靠数量、靠勤奋、靠比别人更努力。至于单价问题仅仅只是为了市场平衡而设定的一个标准而已,按照标准执行,大家都有钱赚。
今天我们就浅聊一下共享WiFi连一次有多少的收入以及每天大概会有多少的一个收益情况
连续四年,神龙又扛住了“双11”
今年双11是首个100%的云上双11”,11月11日,阿里巴巴CTO程立表示,阿里巴巴业务已全部跑在阿里云上。云上阿里经受住了创纪录的流量考验,经过历年双11的淬炼,阿里技术实现了多级跳跃,双11整体计算成本三年下降30%。
连续四年,神龙又扛住了“双11”
|
存储 弹性计算 Cloud Native
揭秘 | 连续3年支撑双11,阿里云神龙如何扛住全球流量洪峰?
2019年云栖大会,阿里云正式发布第三代自研神龙架构,全面支持ECS虚拟机、裸金属、云原生容器等,贯穿整个IaaS计算平台,并在IOPS、PPS等方面提升5倍性能,用户能在云上获得物理机100%的计算能力。本文将为大家揭秘今年双11最具挑战的搜索广告、金融级业务核心交易数据库如何迁移至第三代神龙架构,详解神龙架构如何支撑阿里巴巴最大规模云原生实践落地,以及神龙架构如何通过宕机演练大考、备战双11的背后故事。
揭秘 | 连续3年支撑双11,阿里云神龙如何扛住全球流量洪峰?
|
双11
96秒100亿!哪些“黑科技”支撑全球最大流量洪峰?| 双11特别策划之二
每秒订单峰值54.4万笔!这项“不可思议”的挑战背后是众多阿里“黑科技”的支撑,究竟是哪些技术撑起了如此强大的流量洪峰?开发者社区双11特别策划带你揭秘——收纳阿里巴巴集团CTO张建锋精彩演讲,淘系技术、支付宝“不为人知”的黑科技,更有超燃阿里工程师纪录片《一心一役》等你发现!
21517 0
|
Cloud Native 中间件 测试技术
支付宝双11工程师:半个月升级几十次,峰值到来前紧张到手抖
蚂蚁金服金融级分布式架构 SOFAStack 获得了“十三五”金融科技产业示范案例奖
1228 0
支付宝双11工程师:半个月升级几十次,峰值到来前紧张到手抖
|
存储 机器学习/深度学习 运维
提高 10 倍性能,揭秘淘宝、天猫背后的图片存储如何扛住双十一巨流?| 问底中国 IT 技术演进
2019天猫“双11”,零点钟声刚过去1分36秒,成交额已突破100亿元人民币,最终成交额为2684亿,又一次刷新了世界记录。 对象存储OSS作为淘宝、天猫、支付宝等核心阿里App背后的图片存储底座,又一次平稳的顶住了双11凌晨洪峰,并且提供了10倍的图片浏览性能优化,在本文中,来自阿里云资深技术专家罗庆超将为大家揭秘OSS背后的稳定性设计。
下一篇
无影云桌面