11月21日云栖精选夜读:如何扛住1.8亿/秒的双11数据洪峰?阿里流计算技术全揭秘

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 今年的双11再次刷新了记录——支付成功峰值达25.6万笔/秒、实时数据处理峰值4.72亿条/秒。 面对较去年增幅100%的数据洪峰,流计算技术可谓功不可没。今天,我们将揭开阿里流计算技术的神秘面纱。

今年的双11再次刷新了记录——支付成功峰值达25.6万笔/秒、实时数据处理峰值4.72亿条/秒。 面对较去年增幅100%的数据洪峰,流计算技术可谓功不可没。今天,我们将揭开阿里流计算技术的神秘面纱。



热点热

如何扛住1.8亿/秒的双11数据洪峰?阿里流计算技术全揭秘

作者:技术小能手 发表于阿里技术

基于云上分布式NoSQL的海量气象数据存储和查询方案

作者:亦征  发表于阿里云存储服务 

决战双11之巅 阿里安全治理黑灰产之技术图谱曝光

作者:华蒙  发表于 阿里安全

知识整理

Linux下自动化监控内存、存储空间!

作者:思梦php

JAVA【异常一】异常体系

作者:dongguo

大数据人工智能领域从菜鸟到高手晋级指南

作者:技术小能手  发表于  大数据文摘

深入浅出了解 JavaScript 中的 this

作者:webmirror

展望云计算新时代数据库计算力的进化

作者:场景研读 

美文回顾

不止财务自由的诱惑:最顶级的AI科学家正在离开大学

作者:技术小能手  发表于 大数据文摘

应用MaxCompute实现电力设备监测数据的批量特征分析

作者:syqq

一个夫妻淘宝店都知道这样用数据

作者:技术小能手  发表于天下网商

8个关键词看懂2017新零售先行者的探索|附PPT

作者:技术小能手  发表于天下网商

《Greenplum5.0 最佳实践》 迁移数据使用Gptransfer

作者:whatcat

风控GPS定位数据价值有多大?

作者:红将军

带你了解“不拘一格去创新,别出心裁入场景”的锐捷

作者:你好啊、



往期精选回



相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
近亿级用户体量高并发实战:大促前压测干崩近百个服务引起的深度反思!
几年前,数百个服务,将堆内存从28GB升配到36GB,引发系统全面OOM的事件。
176 12
阿里巴巴高并发架构到底多牛逼?是如何抗住淘宝双11亿级并发量?
众所周知,在Java的知识体系中,并发编程是非常重要的一环,也是面试的必问题,一个好的Java程序员是必须对并发编程这块有所了解的。
多年亿级流量下的高并发经验总结,我毫无保留的写在了这本书中
多年亿级流量下的高并发经验总结,多年6.18和双11大促的高并发系统沉淀与经验总结,我都写到了这本书中。
531 1
多年亿级流量下的高并发经验总结,我毫无保留的写在了这本书中
618的亿级流量大考,京东云靠什么交上满分答卷?
要走近并深入认识京东云,刚刚过去的「618 大考」可能是最好的观察机会。
198 0
618的亿级流量大考,京东云靠什么交上满分答卷?
揭秘 | 连续3年支撑双11,阿里云神龙如何扛住全球流量洪峰?
2019年云栖大会,阿里云正式发布第三代自研神龙架构,全面支持ECS虚拟机、裸金属、云原生容器等,贯穿整个IaaS计算平台,并在IOPS、PPS等方面提升5倍性能,用户能在云上获得物理机100%的计算能力。本文将为大家揭秘今年双11最具挑战的搜索广告、金融级业务核心交易数据库如何迁移至第三代神龙架构,详解神龙架构如何支撑阿里巴巴最大规模云原生实践落地,以及神龙架构如何通过宕机演练大考、备战双11的背后故事。
揭秘 | 连续3年支撑双11,阿里云神龙如何扛住全球流量洪峰?
96秒100亿!哪些“黑科技”支撑全球最大流量洪峰?| 双11特别策划之二
每秒订单峰值54.4万笔!这项“不可思议”的挑战背后是众多阿里“黑科技”的支撑,究竟是哪些技术撑起了如此强大的流量洪峰?开发者社区双11特别策划带你揭秘——收纳阿里巴巴集团CTO张建锋精彩演讲,淘系技术、支付宝“不为人知”的黑科技,更有超燃阿里工程师纪录片《一心一役》等你发现!
21553 0
菜鸟核心系统全面上云,业内首次实现日均处理10亿包裹的技术能力
据悉,今年菜鸟核心系统还将首次支持海外11个国家的双11物流业务。阿里云在全球21个区域部署有上百个云数据中心,其中新加坡云数据中心不到一个月就完成了菜鸟平台基础设施的搭建,将在本地为菜鸟提供网络优化和云计算服务,助力Lazada等海外电商平台将高峰期包裹处理能力提高10倍,保障日均上亿级的包裹量运行。
菜鸟核心系统全面上云,业内首次实现日均处理10亿包裹的技术能力
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等