云原生实时数仓首次在2020双11核心数据场景落地

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 这是史上数据量、计算量最大的一年,是实时处理要求最高、与机器智能结合性最强的一次双11,也是全球最大规模的一次云原生实践。背后作为数据核心支撑的大数据平台更是创下新的世界纪录。

刚刚结束的2020天猫双11又创下两项新记录:交易额4982亿,订单创建峰值每秒58.3万笔。

这是史上数据量、计算量最大的一年,是实时处理要求最高、与机器智能结合性最强的一次双11,也是全球最大规模的一次云原生实践。

背后作为数据核心支撑的大数据平台更是创下新的世界纪录。

2020双11的交易中,阿里云大数据平台完成云原生史上最大规模的大数据算力和实时处理能力。MaxCompute 批处理单日计算数据量达1.7EB,相当于为全球77亿人每人存储230张1080P高清照片;实时计算Flink峰值40亿条/秒,约合7TB/秒,相当于一秒处理500万本新华字典的信息量;MaxCompute 交互式分析(下称Hologres)峰值实时写入5.96亿条记录/秒。

此外,云原生实时数仓首次在2020双11核心数据场景落地。Flink+Hologres实现商业全链路实时化,毫秒级海量数据处理能力,为商家和消费者带来了更加智能的消费体验。菜鸟提升物流包裹流转效率,整体数据链路从小时级同步直接优化到3分钟;饿了么提升单个商圈的获客效率,商圈Leads密度提升50%以上;CCO客服作息智能调配业务接入应用效率提升,平均等待时间降低;供应链平台供应商入驻效率提升,平均耗时下降78%,驳回率下降55%……

MaxCompute 是面向分析的安全可靠的大数据计算服务,它以Serverless架构提供快速、全托管的在线数仓服务,是阿里经济体数据中台的计算核心和阿里云大数据的基础服务。MaxCompute基于动态资源弹性和统一调度能力,支持阿里经济体混部,并从物理机和神龙实例升级到安全容器,拥抱云原生和统一调度的整体能力。

MaxCompute 5年来持续刷新TPCx-BigBench世界记录,今年10月 TPC 官网最新发布 100TB规模达到26000+QPM。

Flink从2015年承载搜索和推荐实时化开始,已经覆盖阿里经济体绝大多数实时计算需求,拥有全球领先的实时计算规模。在流批一体的设计理念下,Flink自研了全新的流批SQL统一处理框架、智能优化服务Autopilot和新一代状态存储Gemini,大大提升用户的业务开发和支持效率。在阿里的海量场景打磨之下,Flink开源社区已连续两年荣膺Apache开源软件基金会最活跃项目的称号。

Hologres是自研的分布式实时数据仓库引擎,历经多次双11技术历练。它支持PB级数据交互式分析场景,面向高吞吐写入高度优化,支持数据实时写入、实时更新、实时查询的全链路实时化能力,在一个引擎中同时支持了复杂多维分析和高性能服务查询两个场景,是分析服务一体化的最佳行业实践。Hologres技术创新发表在数据库界全球顶级学术会议VLDB 2020。

据称,阿里云大数据平台不仅稳定支撑阿里经济体的数据计算业务,经过双11大规模场景验证之后,更是云上客户大数据平台的重要组成部分,涵盖互联网、金融、交通、IOT、新零售等领域的龙头企业。点此查看更多
长图双11大数据计算领域数据亮点大图.jpg

访问2020阿里巴巴双11技术全观专题: https://developer.aliyun.com/topic/1111techs/2020 了解更多关于2020双11的技术干货内容

相关实践学习
基于Hologres轻量实时的高性能OLAP分析
本教程基于GitHub Archive公开数据集,通过DataWorks将GitHub中的项⽬、行为等20多种事件类型数据实时采集至Hologres进行分析,同时使用DataV内置模板,快速搭建实时可视化数据大屏,从开发者、项⽬、编程语⾔等多个维度了解GitHub实时数据变化情况。
相关文章
|
5月前
|
运维 算法 机器人
阿里云AnalyticDB具身智能方案:破解机器人仿真数据、算力与运维之困
本文将介绍阿里云瑶池旗下的云原生数据仓库AnalyticDB MySQL推出的全托管云上仿真解决方案,方案采用云原生架构,为开发者提供从开发环境、仿真计算到数据管理的全链路支持。
|
8月前
|
人工智能 关系型数据库 OLAP
光云科技 X AnalyticDB:构建 AI 时代下的云原生企业级数仓
AnalyticDB承载了光云海量数据的实时在线分析,为各个业务线的商家提供了丝滑的数据服务,实时物化视图、租户资源隔离、冷热分离等企业级特性,很好的解决了SaaS场景下的业务痛点,也平衡了成本。同时也基于通义+AnalyticDB研发了企业级智能客服、智能导购等行业解决方案,借助大模型和云计算为商家赋能。
630 17
|
5月前
|
存储 传感器 数据采集
什么是实时数仓?实时数仓又有哪些应用场景?
实时数仓是一种能实现秒级数据更新和分析的系统,适用于电商、金融、物流等需要快速响应的场景。相比传统数仓,它具备更高的时效性和并发处理能力,能够帮助企业及时捕捉业务动态,提升决策效率。本文详细解析了其实现架构与核心特点,并结合实际案例说明其应用价值。
|
存储 人工智能 Cloud Native
云栖重磅|从数据到智能:Data+AI驱动的云原生数据库
在9月20日2024云栖大会上,阿里云智能集团副总裁,数据库产品事业部负责人,ACM、CCF、IEEE会士(Fellow)李飞飞发表《从数据到智能:Data+AI驱动的云原生数据库》主题演讲。他表示,数据是生成式AI的核心资产,大模型时代的数据管理系统需具备多模处理和实时分析能力。阿里云瑶池将数据+AI全面融合,构建一站式多模数据管理平台,以数据驱动决策与创新,为用户提供像“搭积木”一样易用、好用、高可用的使用体验。
云栖重磅|从数据到智能:Data+AI驱动的云原生数据库
|
8月前
|
人工智能 运维 Cloud Native
Argo Workflows at KubeCon Europe 2025: 多元场景的云原生任务编排
Argo Workflow在KubeCon Europe 2025展示了其在AI/ML/HPC任务、事件驱动、平台工程、批量数据处理、混沌测试等多元场景的云原生任务编排能力。
|
10月前
|
存储 SQL 数据挖掘
数据无界、湖仓无界, Apache Doris 湖仓一体解决方案全面解读(上篇)
湖仓一体架构融合了数据湖的低成本、高扩展性,以及数据仓库的高性能、强数据治理能力,高效应对大数据时代的挑战。为助力企业实现湖仓一体的建设,Apache Doris 提出了数据无界和湖仓无界核心理念,并结合自身特性,助力企业加速从 0 到 1 构建湖仓体系,降低转型过程中的风险和成本。本文将对湖仓一体演进及 Apache Doris 湖仓一体方案进行介绍。
943 1
数据无界、湖仓无界, Apache Doris 湖仓一体解决方案全面解读(上篇)
|
11月前
|
存储 SQL 运维
Hologres OLAP场景核心能力介绍-2024实时数仓Hologres线上公开课02
本次分享由Hologres产品经理赵红梅(梅酱)介绍Hologres在OLAP场景中的核心能力。内容涵盖OLAP场景的痛点、Hologres的核心优势及其解决方法,包括实时数仓分析、湖仓一体加速、丰富的索引和查询性能优化等。此外,还介绍了Hologres在兼容PG生态、支持多种BI工具以及高级企业级功能如计算组隔离和serverless computing等方面的优势。最后通过小红书和乐元素两个典型客户案例,展示了Hologres在实际应用中的显著效益,如运维成本降低、查询性能提升及成本节省等。
336 7
|
10月前
|
人工智能 关系型数据库 分布式数据库
阿里云PolarDB重磅发布云原生与Data+AI新特性,打造智能时代数据引擎
阿里云PolarDB重磅发布云原生与Data+AI新特性,打造智能时代数据引擎
572 0
|
12月前
|
存储 供应链 数据库
Hologres 索引:概念与实用场景
本文介绍了 Hologres 索引的概念、类型及在实际场景中的应用。Hologres 是阿里云的一款强大数据库产品,其索引功能显著提升了数据查询性能。文章详细探讨了 B 树索引、哈希索引和位图索引的特点及应用场景,并介绍了索引的创建和维护方法。此外,还列举了 Hologres 中的重要参数设置及其使用限制,最后通过电商、金融、物流和社交媒体等领域的具体案例,展示了索引在不同场景下的实用价值。
411 10