云原生实时数仓首次在2020双11核心数据场景落地

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 这是史上数据量、计算量最大的一年,是实时处理要求最高、与机器智能结合性最强的一次双11,也是全球最大规模的一次云原生实践。背后作为数据核心支撑的大数据平台更是创下新的世界纪录。

刚刚结束的2020天猫双11又创下两项新记录:交易额4982亿,订单创建峰值每秒58.3万笔。

这是史上数据量、计算量最大的一年,是实时处理要求最高、与机器智能结合性最强的一次双11,也是全球最大规模的一次云原生实践。

背后作为数据核心支撑的大数据平台更是创下新的世界纪录。

2020双11的交易中,阿里云大数据平台完成云原生史上最大规模的大数据算力和实时处理能力。MaxCompute 批处理单日计算数据量达1.7EB,相当于为全球77亿人每人存储230张1080P高清照片;实时计算Flink峰值40亿条/秒,约合7TB/秒,相当于一秒处理500万本新华字典的信息量;MaxCompute 交互式分析(下称Hologres)峰值实时写入5.96亿条记录/秒。

此外,云原生实时数仓首次在2020双11核心数据场景落地。Flink+Hologres实现商业全链路实时化,毫秒级海量数据处理能力,为商家和消费者带来了更加智能的消费体验。菜鸟提升物流包裹流转效率,整体数据链路从小时级同步直接优化到3分钟;饿了么提升单个商圈的获客效率,商圈Leads密度提升50%以上;CCO客服作息智能调配业务接入应用效率提升,平均等待时间降低;供应链平台供应商入驻效率提升,平均耗时下降78%,驳回率下降55%……

MaxCompute 是面向分析的安全可靠的大数据计算服务,它以Serverless架构提供快速、全托管的在线数仓服务,是阿里经济体数据中台的计算核心和阿里云大数据的基础服务。MaxCompute基于动态资源弹性和统一调度能力,支持阿里经济体混部,并从物理机和神龙实例升级到安全容器,拥抱云原生和统一调度的整体能力。

MaxCompute 5年来持续刷新TPCx-BigBench世界记录,今年10月 TPC 官网最新发布 100TB规模达到26000+QPM。

Flink从2015年承载搜索和推荐实时化开始,已经覆盖阿里经济体绝大多数实时计算需求,拥有全球领先的实时计算规模。在流批一体的设计理念下,Flink自研了全新的流批SQL统一处理框架、智能优化服务Autopilot和新一代状态存储Gemini,大大提升用户的业务开发和支持效率。在阿里的海量场景打磨之下,Flink开源社区已连续两年荣膺Apache开源软件基金会最活跃项目的称号。

Hologres是自研的分布式实时数据仓库引擎,历经多次双11技术历练。它支持PB级数据交互式分析场景,面向高吞吐写入高度优化,支持数据实时写入、实时更新、实时查询的全链路实时化能力,在一个引擎中同时支持了复杂多维分析和高性能服务查询两个场景,是分析服务一体化的最佳行业实践。Hologres技术创新发表在数据库界全球顶级学术会议VLDB 2020。

据称,阿里云大数据平台不仅稳定支撑阿里经济体的数据计算业务,经过双11大规模场景验证之后,更是云上客户大数据平台的重要组成部分,涵盖互联网、金融、交通、IOT、新零售等领域的龙头企业。点此查看更多
长图双11大数据计算领域数据亮点大图.jpg

访问2020阿里巴巴双11技术全观专题: https://developer.aliyun.com/topic/1111techs/2020 了解更多关于2020双11的技术干货内容

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
相关文章
|
5月前
|
存储 运维 搜索推荐
实时数仓Hologres发展问题之Hologres在无人车送货场景中的应用如何解决
实时数仓Hologres发展问题之Hologres在无人车送货场景中的应用如何解决
56 2
|
2月前
|
存储 人工智能 Cloud Native
云栖重磅|从数据到智能:Data+AI驱动的云原生数据库
在9月20日2024云栖大会上,阿里云智能集团副总裁,数据库产品事业部负责人,ACM、CCF、IEEE会士(Fellow)李飞飞发表《从数据到智能:Data+AI驱动的云原生数据库》主题演讲。他表示,数据是生成式AI的核心资产,大模型时代的数据管理系统需具备多模处理和实时分析能力。阿里云瑶池将数据+AI全面融合,构建一站式多模数据管理平台,以数据驱动决策与创新,为用户提供像“搭积木”一样易用、好用、高可用的使用体验。
云栖重磅|从数据到智能:Data+AI驱动的云原生数据库
|
3月前
|
存储 人工智能 Cloud Native
云栖重磅|从数据到智能:Data+AI驱动的云原生数据库
阿里云瑶池在2024云栖大会上重磅发布由Data+AI驱动的多模数据管理平台DMS:OneMeta+OneOps,通过统一、开放、多模的元数据服务实现跨环境、跨引擎、跨实例的统一治理,可支持高达40+种数据源,实现自建、他云数据源的无缝对接,助力业务决策效率提升10倍。
|
4月前
|
存储 人工智能 Cloud Native
云栖重磅|从数据到智能:Data+AI驱动的云原生数据库
阿里云数据库重磅升级!元数据服务OneMeta + OneOps统一管理多模态数据
|
4月前
|
存储 安全 网络安全
Hologres 的安全性和数据隐私保护
【9月更文第1天】随着数据量的不断增长和对数据价值的认识加深,数据安全和隐私保护成为了企业和组织不可忽视的重要议题。Hologres 作为一款高性能的实时数仓产品,在设计之初就将安全性置于核心地位。本文将深入探讨 Hologres 在保障数据安全和隐私方面的措施,包括数据加密、访问控制以及如何满足各类数据保护法规的要求。
82 3
|
4月前
|
消息中间件 Java 数据库连接
Hologres 数据导入与导出的最佳实践
【9月更文第1天】Hologres 是一款高性能的实时数仓服务,旨在提供快速的数据分析能力。无论是从外部数据源导入数据还是将数据导出至其他系统,都需要确保过程既高效又可靠。本文将详细介绍如何有效地导入数据到 Hologres 中,以及如何从 Hologres 导出数据。
170 1
|
5月前
|
安全 网络安全 数据安全/隐私保护
云原生技术探索:容器化与微服务架构的实践之路网络安全与信息安全:保护数据的关键策略
【8月更文挑战第28天】本文将深入探讨云原生技术的核心概念,包括容器化和微服务架构。我们将通过实际案例和代码示例,展示如何在云平台上实现高效的应用部署和管理。文章不仅提供理论知识,还包含实操指南,帮助开发者理解并应用这些前沿技术。 【8月更文挑战第28天】在数字化时代,网络安全和信息安全是保护个人和企业数据的前线防御。本文将探讨网络安全漏洞的成因、加密技术的应用以及提升安全意识的重要性。文章旨在通过分析网络安全的薄弱环节,介绍如何利用加密技术和提高用户警觉性来构建更为坚固的数据保护屏障。
|
5月前
|
Kubernetes Cloud Native 关系型数据库
云原生数据基础设施之kubeblocks
云原生数据基础设施之kubeblocks
|
5月前
|
存储 分布式计算 数据挖掘
实时数仓 Hologres 问题之适用于业务场景的实时数仓如何搭建
实时数仓 Hologres 问题之适用于业务场景的实时数仓如何搭建
|
5月前
|
SQL DataWorks 数据库连接
实时数仓 Hologres操作报错合集之如何将物理表数据写入临时表
实时数仓Hologres是阿里云推出的一款高性能、实时分析的数据库服务,专为大数据分析和复杂查询场景设计。使用Hologres,企业能够打破传统数据仓库的延迟瓶颈,实现数据到决策的无缝衔接,加速业务创新和响应速度。以下是Hologres产品的一些典型使用场景合集。