轻松hold住双11数据洪峰背后的秘密

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
可视分析地图(DataV-Atlas),3 个项目,100M 存储空间
数据可视化 DataV(企业版),20 个大屏 1 个月
简介:

双11刚刚拉下帷幕,激动的心还停留在那一刻——当秒针刚跨过11号零点的一瞬间,来自线上线下的千万剁手党在第一时间涌入了这场年度大趴——从进入会场到点击详情页,再到下单付款一气呵成。

前台在大家狂欢的同时,后台数据流量也正以突破历史新高的洪峰形式急剧涌入:
- 支付成功峰值达 25.6 万笔/秒
- 实时数据处理峰值 4.72亿条/秒

而作为实时数据处理任务中最为重要的集团数据公共层(保障着业务的实时数据、媒体大屏等核心任务),在当天的总数据处理峰值更是创历史新高达1.8亿/秒!

想象下,1秒钟时间内千万人涌入双11会场的同时,依然应对自如!

面对流量峰值为去年100%增幅的数据洪峰,流计算技术今天我们突破的不止一点点,现在让我们揭开覆盖全集团实时数据的最新流计算技术吧!

流计算的产生即来源于数据加工时效性的严苛需求:

由于数据的业务价值会随着时间的流失而迅速降低,因此在数据发生后必须尽快对其进行计算和处理,从而能够通过数据第一时间掌握业务情况。今年双11的流计算也面临着一场实时数据洪峰的考验。

首先来展示今年(2017年)较去年(2016年)数据洪峰峰值的比较:

2016年:支付成功峰值12万笔/秒,总数据处理峰值9300万/秒
2017年:支付成功峰值25.6 万笔/秒,实时数据处理峰值 4.72亿条/秒,阿里巴巴集团数据公共层总数据处理峰值1.8亿/秒

在今年双11流量峰值翻翻的情况下,依然稳固做到实时数据更新频率:
——从第1秒千万剁手党涌入到下单付款,到完成实时计算投放至媒体大屏全路径,秒级响应!

面对越发抬升的流量面前,实时数据却越来越快、越来越准!在轻松hold住数据洪峰的背后,是阿里巴巴流计算技术的全面升级。

050af07f6c998f98379563e2153eaf4187fc4ed5

阿里数据在11月28日的北京,将会举办一场闭门分享。你可以了解,技术创新的背后,数据人是如何为之努力的。针对流计算环节,我们将分享

流计算应用场景

数据中台流计算实践中的数据链路

计算引擎升级及优化

……

同时,本次双11闭门分享还会涉及:双11数据保障始末、又准又快的实时计算、酷炫到飞起来的媒体大屏……

同时,本次双11闭门分享还会涉及:双11数据保障始末、又准又快的实时计算、酷炫到飞起来的媒体大屏……

09fdd2a77a4516466f914e77c67731e5e70132fa



原文发布时间为:2017-11-21

本文作者:双11分享北京站

本文来自云栖社区合作伙伴“阿里数据”,了解相关信息可以关注“阿里数据”微信公众号

相关文章
|
9月前
|
人工智能 运维 安全
元宇宙概念跑得太快,企业网络怎样才能跟上
8月6日到8日,美国超人气歌手Ariana Grande两天时间在全球不同地点,举办了5场演唱会,上演现实版“时空穿梭”。 原来这背后是通过VR技术,配合时下火热的元宇宙概念打造的一场虚拟现实演唱会,演出举办地被放在了游戏《堡垒之夜》之中,全球上千万的玩家,通过自己的游戏分身盛装出席,在世界各地的家中、学校、公园、办公室里,参加这场沉浸式互动。
|
安全 区块链
IPPswap螺旋上涨质押LP模式挖矿系统开发方案
区块链的核心是一项革命性技术,可实现安全、透明的交易
|
机器学习/深度学习 数据采集 人工智能
代码对童话的冲击
代码对童话的冲击
94 0
|
存储 安全 算法
从“Back to Basic”到伙伴优先,阿里云的组合拳总算整明白了
阿里巴巴最近又活跃了起来——不是在天猫,也不是在支付宝,而是在技术端。 5月26日,阿里云发布了2022财年财报,营收首次超过千亿达到1001.8亿元,同时首次实现年度盈利(11.46亿元); 6月13日,阿里云智能总裁张建锋在2022年阿里云峰会上发布年度策略“Back to Basic”,发布了云数据中心专用处理器CIPU,提出要在技术长征路上不懈努力赢取新的突破;
369 0
|
云安全 存储 Cloud Native
阿里云ACE改革后难度变大了,还有人考吗?划不划算?
阿里云人才认证一直是IT行业内的热门证书,其中最高等级的就是ACE,在今年四月份之前,很多人都会选择考取ACE认证来丰富自己的履历,但是四月份阿里云官方对考试做出了一次整改,考试的难度和费用大幅度增加。
1137 1
阿里云ACE改革后难度变大了,还有人考吗?划不划算?
《计算机世界》遗憾宣布终止纸媒业务:未能如愿发展
《计算机世界》遗憾宣布终止纸媒业务:未能如愿发展
108 0
《计算机世界》遗憾宣布终止纸媒业务:未能如愿发展
连续四年,神龙又扛住了“双11”
今年双11是首个100%的云上双11”,11月11日,阿里巴巴CTO程立表示,阿里巴巴业务已全部跑在阿里云上。云上阿里经受住了创纪录的流量考验,经过历年双11的淬炼,阿里技术实现了多级跳跃,双11整体计算成本三年下降30%。
连续四年,神龙又扛住了“双11”
|
Cloud Native 中间件 测试技术
支付宝双11工程师:半个月升级几十次,峰值到来前紧张到手抖
蚂蚁金服金融级分布式架构 SOFAStack 获得了“十三五”金融科技产业示范案例奖
1256 0
支付宝双11工程师:半个月升级几十次,峰值到来前紧张到手抖
|
传感器 监控 安全
5G 的行业应用 | 带你读《5G时代的承载网》之六
5G 不仅仅是下一代的无线网,以 5G 无线网为基础,将带来耳目一 新的新一代应用。就像 4G 网络推动了“互联网 +”产业的发展, 5G 将为现在的各行各业带来什么样的行业新应用,万物互联的未来世 界将是什么模样?本章我们进行展望。
|
机器学习/深度学习 存储 边缘计算