云原生实时数仓首次在2020双11核心数据场景落地

简介: 这是史上数据量、计算量最大的一年,是实时处理要求最高、与机器智能结合性最强的一次双11,也是全球最大规模的一次云原生实践。背后作为数据核心支撑的大数据平台更是创下新的世界纪录。

刚刚结束的2020天猫双11又创下两项新记录:交易额4982亿,订单创建峰值每秒58.3万笔。

这是史上数据量、计算量最大的一年,是实时处理要求最高、与机器智能结合性最强的一次双11,也是全球最大规模的一次云原生实践。

背后作为数据核心支撑的大数据平台更是创下新的世界纪录。

2020双11的交易中,阿里云大数据平台完成云原生史上最大规模的大数据算力和实时处理能力。MaxCompute 批处理单日计算数据量达1.7EB,相当于为全球77亿人每人存储230张1080P高清照片;实时计算Flink峰值40亿条/秒,约合7TB/秒,相当于一秒处理500万本新华字典的信息量;MaxCompute 交互式分析(下称Hologres)峰值实时写入5.96亿条记录/秒。

此外,云原生实时数仓首次在2020双11核心数据场景落地。Flink+Hologres实现商业全链路实时化,毫秒级海量数据处理能力,为商家和消费者带来了更加智能的消费体验。菜鸟提升物流包裹流转效率,整体数据链路从小时级同步直接优化到3分钟;饿了么提升单个商圈的获客效率,商圈Leads密度提升50%以上;CCO客服作息智能调配业务接入应用效率提升,平均等待时间降低;供应链平台供应商入驻效率提升,平均耗时下降78%,驳回率下降55%……

MaxCompute 是面向分析的安全可靠的大数据计算服务,它以Serverless架构提供快速、全托管的在线数仓服务,是阿里经济体数据中台的计算核心和阿里云大数据的基础服务。MaxCompute基于动态资源弹性和统一调度能力,支持阿里经济体混部,并从物理机和神龙实例升级到安全容器,拥抱云原生和统一调度的整体能力。

MaxCompute 5年来持续刷新TPCx-BigBench世界记录,今年10月 TPC 官网最新发布 100TB规模达到26000+QPM。

Flink从2015年承载搜索和推荐实时化开始,已经覆盖阿里经济体绝大多数实时计算需求,拥有全球领先的实时计算规模。在流批一体的设计理念下,Flink自研了全新的流批SQL统一处理框架、智能优化服务Autopilot和新一代状态存储Gemini,大大提升用户的业务开发和支持效率。在阿里的海量场景打磨之下,Flink开源社区已连续两年荣膺Apache开源软件基金会最活跃项目的称号。

Hologres是自研的分布式实时数据仓库引擎,历经多次双11技术历练。它支持PB级数据交互式分析场景,面向高吞吐写入高度优化,支持数据实时写入、实时更新、实时查询的全链路实时化能力,在一个引擎中同时支持了复杂多维分析和高性能服务查询两个场景,是分析服务一体化的最佳行业实践。Hologres技术创新发表在数据库界全球顶级学术会议VLDB 2020。

据称,阿里云大数据平台不仅稳定支撑阿里经济体的数据计算业务,经过双11大规模场景验证之后,更是云上客户大数据平台的重要组成部分,涵盖互联网、金融、交通、IOT、新零售等领域的龙头企业。点此查看更多
长图双11大数据计算领域数据亮点大图.jpg

访问2020阿里巴巴双11技术全观专题: https://developer.aliyun.com/topic/1111techs/2020 了解更多关于2020双11的技术干货内容

相关实践学习
基于Hologres+PAI+计算巢,5分钟搭建企业级AI问答知识库
本场景采用阿里云人工智能平台PAI、Hologres向量计算和计算巢,搭建企业级AI问答知识库。通过本教程的操作,5分钟即可拉起大模型(PAI)、向量计算(Hologres)与WebUI资源,可直接进行对话问答。
相关文章
|
4月前
|
存储 搜索推荐 数据管理
全栈数仓适合什么场景使用
全栈数仓适合什么场景使用
|
13天前
|
DataWorks NoSQL Java
DataWorks操作报错合集之在 DataWorks 中运行了一个 Hologres 表的任务并完成了执行,但是在 Hologres 表中没有看到数据,该怎么解决
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
24 0
|
13天前
|
分布式计算 DataWorks MaxCompute
DataWorks产品使用合集之在DataWorks中,将数据集成功能将AnalyticDB for MySQL中的数据实时同步到MaxCompute中如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
24 0
|
15天前
|
Cloud Native 关系型数据库 MySQL
云原生数据仓库产品使用合集之在ADB中,如何将源数据的多表(数据结构一致)汇总到一张表
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。
|
1月前
|
Cloud Native 关系型数据库 分布式数据库
数据之势丨云原生数据库,走向Serverless与AI驱动的一站式数据平台
在大模型席卷之下,历史的齿轮仍在转动,很多人开始思考,大模型能为数据库带来哪些改变。阿里云数据库产品事业部负责人李飞飞表示,数据库和智能化的结合是未来非常重要的发展方向,数据库的使用门槛将大幅降低。
|
1月前
|
人工智能 Cloud Native 算法
数据之势丨AI时代,云原生数据库的最新发展趋势与进展
AI与云数据库的深度结合是数据库发展的必然趋势,基于AI能力的加持,云数据库未来可以实现更快速的查询和决策,帮助企业更好地利用海量数据进行业务创新和决策优化。
数据之势丨AI时代,云原生数据库的最新发展趋势与进展
|
2月前
|
关系型数据库 MySQL OLAP
PolarDB +AnalyticDB Zero-ETL :免费同步数据到ADB,享受数据流通新体验
Zero-ETL是阿里云瑶池数据库提供的服务,旨在简化传统ETL流程的复杂性和成本,提高数据实时性。降低数据同步成本,允许用户快速在AnalyticDB中对PolarDB数据进行分析,降低了30%的数据接入成本,提升了60%的建仓效率。 Zero-ETL特性包括免费的PolarDB MySQL联邦分析和PolarDB-X元数据自动同步,提供一体化的事务处理和数据分析,并能整合多个数据源。用户只需简单配置即可实现数据同步和实时分析。
|
2月前
|
消息中间件 存储 Cloud Native
深度剖析 RocketMQ 5.0,架构解析:云原生架构如何支撑多元化场景?
了解 RocketMQ 5.0 的核心概念和架构概览;然后我们会从集群角度出发,从宏观视角学习 RocketMQ 的管控链路、数据链路、客户端和服务端如何交互;学习 RocketMQ 如何实现数据的存储,数据的高可用,如何利用云原生存储进一步提升竞争力。
140120 2
|
2月前
|
弹性计算 运维 Kubernetes
云原生K8S场景自动化响应ECS系统事件
客户云原生K8S场景下,通过社区开源NPD+Draino+Autoscaler零开发,对接响应ECS主动运维事件,通过自动响应事件减少非预期宕机。
|
2月前
|
SQL 数据采集 存储
数据仓库(12)数据治理之数仓数据管理实践心得
这边文章聊聊自己对数据治理开发实践的一些思路,就是聊聊怎么开始去做数据治理这件事情。说起数据治理,有时候虽然看了很多文章,看了很多的介绍,了解数据治理的理论,但是实际上需要我们去搞的时候,就会踩很多的坑。这里记一下自己做数据治理的一些思路,做做笔记,也分享给需要的同学。 当然,想要做数据治理,想要学习了解,一下数据治理的范围,理论等,最好可以看看别人怎么做的,了解数据治理可以参考:[数据仓库(11)什么是大数据治理,数据治理的范围是哪些](https://zhuanlan.zhihu.com/p/467433967)。
311 0

热门文章

最新文章