轻松hold住双11数据洪峰背后的秘密

本文涉及的产品
可视分析地图(DataV-Atlas),3 个项目,100M 存储空间
数据可视化DataV,5个大屏 1个月
智能数据建设与治理Dataphin,200数据处理单元
简介:

双11刚刚拉下帷幕,激动的心还停留在那一刻——当秒针刚跨过11号零点的一瞬间,来自线上线下的千万剁手党在第一时间涌入了这场年度大趴——从进入会场到点击详情页,再到下单付款一气呵成。

前台在大家狂欢的同时,后台数据流量也正以突破历史新高的洪峰形式急剧涌入:
- 支付成功峰值达 25.6 万笔/秒
- 实时数据处理峰值 4.72亿条/秒

而作为实时数据处理任务中最为重要的集团数据公共层(保障着业务的实时数据、媒体大屏等核心任务),在当天的总数据处理峰值更是创历史新高达1.8亿/秒!

想象下,1秒钟时间内千万人涌入双11会场的同时,依然应对自如!

面对流量峰值为去年100%增幅的数据洪峰,流计算技术今天我们突破的不止一点点,现在让我们揭开覆盖全集团实时数据的最新流计算技术吧!

流计算的产生即来源于数据加工时效性的严苛需求:

由于数据的业务价值会随着时间的流失而迅速降低,因此在数据发生后必须尽快对其进行计算和处理,从而能够通过数据第一时间掌握业务情况。今年双11的流计算也面临着一场实时数据洪峰的考验。

首先来展示今年(2017年)较去年(2016年)数据洪峰峰值的比较:

2016年:支付成功峰值12万笔/秒,总数据处理峰值9300万/秒
2017年:支付成功峰值25.6 万笔/秒,实时数据处理峰值 4.72亿条/秒,阿里巴巴集团数据公共层总数据处理峰值1.8亿/秒

在今年双11流量峰值翻翻的情况下,依然稳固做到实时数据更新频率:
——从第1秒千万剁手党涌入到下单付款,到完成实时计算投放至媒体大屏全路径,秒级响应!

面对越发抬升的流量面前,实时数据却越来越快、越来越准!在轻松hold住数据洪峰的背后,是阿里巴巴流计算技术的全面升级。

050af07f6c998f98379563e2153eaf4187fc4ed5

阿里数据在11月28日的北京,将会举办一场闭门分享。你可以了解,技术创新的背后,数据人是如何为之努力的。针对流计算环节,我们将分享

流计算应用场景

数据中台流计算实践中的数据链路

计算引擎升级及优化

……

同时,本次双11闭门分享还会涉及:双11数据保障始末、又准又快的实时计算、酷炫到飞起来的媒体大屏……

同时,本次双11闭门分享还会涉及:双11数据保障始末、又准又快的实时计算、酷炫到飞起来的媒体大屏……

09fdd2a77a4516466f914e77c67731e5e70132fa



原文发布时间为:2017-11-21

本文作者:双11分享北京站

本文来自云栖社区合作伙伴“阿里数据”,了解相关信息可以关注“阿里数据”微信公众号

相关文章
|
JSON NoSQL 安全
分布式下的区域问题,让我们大战了300回合
分布式下的区域问题,让我们大战了300回合
分布式下的区域问题,让我们大战了300回合
连续四年,神龙又扛住了“双11”
今年双11是首个100%的云上双11”,11月11日,阿里巴巴CTO程立表示,阿里巴巴业务已全部跑在阿里云上。云上阿里经受住了创纪录的流量考验,经过历年双11的淬炼,阿里技术实现了多级跳跃,双11整体计算成本三年下降30%。
连续四年,神龙又扛住了“双11”
|
存储 弹性计算 Cloud Native
揭秘 | 连续3年支撑双11,阿里云神龙如何扛住全球流量洪峰?
2019年云栖大会,阿里云正式发布第三代自研神龙架构,全面支持ECS虚拟机、裸金属、云原生容器等,贯穿整个IaaS计算平台,并在IOPS、PPS等方面提升5倍性能,用户能在云上获得物理机100%的计算能力。本文将为大家揭秘今年双11最具挑战的搜索广告、金融级业务核心交易数据库如何迁移至第三代神龙架构,详解神龙架构如何支撑阿里巴巴最大规模云原生实践落地,以及神龙架构如何通过宕机演练大考、备战双11的背后故事。
揭秘 | 连续3年支撑双11,阿里云神龙如何扛住全球流量洪峰?
|
双11
96秒100亿!哪些“黑科技”支撑全球最大流量洪峰?| 双11特别策划之二
每秒订单峰值54.4万笔!这项“不可思议”的挑战背后是众多阿里“黑科技”的支撑,究竟是哪些技术撑起了如此强大的流量洪峰?开发者社区双11特别策划带你揭秘——收纳阿里巴巴集团CTO张建锋精彩演讲,淘系技术、支付宝“不为人知”的黑科技,更有超燃阿里工程师纪录片《一心一役》等你发现!
21479 0
|
数据挖掘 测试技术
首次证明:牵手就能同步脑电波,还能缓解疼痛
握住你的手,我虽然看不穿你的灵魂,但我的脑电波悄悄地和你同步啦。 这不是神棍的胡说八道,而是科学实验证明的结论。 来自以色列海法大学的一项研究表明: 和关系亲密的人身体接触,能让人们的脑电波同步。 而且关系越亲密,这种神奇的效应就越明显。 听上去有些不可思议?想起了银河护卫队里能直击灵魂的螳螂女?
1584 0
首次证明:牵手就能同步脑电波,还能缓解疼痛
|
存储 机器学习/深度学习 运维
提高 10 倍性能,揭秘淘宝、天猫背后的图片存储如何扛住双十一巨流?| 问底中国 IT 技术演进
2019天猫“双11”,零点钟声刚过去1分36秒,成交额已突破100亿元人民币,最终成交额为2684亿,又一次刷新了世界记录。 对象存储OSS作为淘宝、天猫、支付宝等核心阿里App背后的图片存储底座,又一次平稳的顶住了双11凌晨洪峰,并且提供了10倍的图片浏览性能优化,在本文中,来自阿里云资深技术专家罗庆超将为大家揭秘OSS背后的稳定性设计。
|
机器学习/深度学习 存储 边缘计算
|
安全 双11
60亿次攻击,我们扛住了!
双11当天,阿里云安全经历的攻防24小时
2435 0
|
前端开发 双11 编解码
聊聊双11互动主动法中前端技术亮点
在上一篇《[手淘Web页面Bar和纵向适配的设计](https://www.atatech.org/articles/122857)》中聊了互动项目中Bar的工业化标准设计以及对刘海设备带来的变化。我把这一点称为标准化Bar设计给适配带来的优势。今天这篇文章中主要想再花点时间聊聊今年手淘“**PK赢能量**”互动项目中前端有哪些技术亮点和尝鲜。当然文章涉及到的技术点估计有很多同学都有接触或者使用过
2163 0