云原生实时数仓首次在2020双11核心数据场景落地

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 这是史上数据量、计算量最大的一年,是实时处理要求最高、与机器智能结合性最强的一次双11,也是全球最大规模的一次云原生实践。背后作为数据核心支撑的大数据平台更是创下新的世界纪录。

刚刚结束的2020天猫双11又创下两项新记录:交易额4982亿,订单创建峰值每秒58.3万笔。

这是史上数据量、计算量最大的一年,是实时处理要求最高、与机器智能结合性最强的一次双11,也是全球最大规模的一次云原生实践。

背后作为数据核心支撑的大数据平台更是创下新的世界纪录。

2020双11的交易中,阿里云大数据平台完成云原生史上最大规模的大数据算力和实时处理能力。MaxCompute 批处理单日计算数据量达1.7EB,相当于为全球77亿人每人存储230张1080P高清照片;实时计算Flink峰值40亿条/秒,约合7TB/秒,相当于一秒处理500万本新华字典的信息量;MaxCompute 交互式分析(下称Hologres)峰值实时写入5.96亿条记录/秒。

此外,云原生实时数仓首次在2020双11核心数据场景落地。Flink+Hologres实现商业全链路实时化,毫秒级海量数据处理能力,为商家和消费者带来了更加智能的消费体验。菜鸟提升物流包裹流转效率,整体数据链路从小时级同步直接优化到3分钟;饿了么提升单个商圈的获客效率,商圈Leads密度提升50%以上;CCO客服作息智能调配业务接入应用效率提升,平均等待时间降低;供应链平台供应商入驻效率提升,平均耗时下降78%,驳回率下降55%……

MaxCompute 是面向分析的安全可靠的大数据计算服务,它以Serverless架构提供快速、全托管的在线数仓服务,是阿里经济体数据中台的计算核心和阿里云大数据的基础服务。MaxCompute基于动态资源弹性和统一调度能力,支持阿里经济体混部,并从物理机和神龙实例升级到安全容器,拥抱云原生和统一调度的整体能力。

MaxCompute 5年来持续刷新TPCx-BigBench世界记录,今年10月 TPC 官网最新发布 100TB规模达到26000+QPM。

Flink从2015年承载搜索和推荐实时化开始,已经覆盖阿里经济体绝大多数实时计算需求,拥有全球领先的实时计算规模。在流批一体的设计理念下,Flink自研了全新的流批SQL统一处理框架、智能优化服务Autopilot和新一代状态存储Gemini,大大提升用户的业务开发和支持效率。在阿里的海量场景打磨之下,Flink开源社区已连续两年荣膺Apache开源软件基金会最活跃项目的称号。

Hologres是自研的分布式实时数据仓库引擎,历经多次双11技术历练。它支持PB级数据交互式分析场景,面向高吞吐写入高度优化,支持数据实时写入、实时更新、实时查询的全链路实时化能力,在一个引擎中同时支持了复杂多维分析和高性能服务查询两个场景,是分析服务一体化的最佳行业实践。Hologres技术创新发表在数据库界全球顶级学术会议VLDB 2020。

据称,阿里云大数据平台不仅稳定支撑阿里经济体的数据计算业务,经过双11大规模场景验证之后,更是云上客户大数据平台的重要组成部分,涵盖互联网、金融、交通、IOT、新零售等领域的龙头企业。点此查看更多
长图双11大数据计算领域数据亮点大图.jpg

访问2020阿里巴巴双11技术全观专题: https://developer.aliyun.com/topic/1111techs/2020 了解更多关于2020双11的技术干货内容

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
相关文章
|
1月前
|
存储 人工智能 Cloud Native
云栖重磅|从数据到智能:Data+AI驱动的云原生数据库
在9月20日2024云栖大会上,阿里云智能集团副总裁,数据库产品事业部负责人,ACM、CCF、IEEE会士(Fellow)李飞飞发表《从数据到智能:Data+AI驱动的云原生数据库》主题演讲。他表示,数据是生成式AI的核心资产,大模型时代的数据管理系统需具备多模处理和实时分析能力。阿里云瑶池将数据+AI全面融合,构建一站式多模数据管理平台,以数据驱动决策与创新,为用户提供像“搭积木”一样易用、好用、高可用的使用体验。
云栖重磅|从数据到智能:Data+AI驱动的云原生数据库
|
15天前
|
存储 供应链 数据库
Hologres 索引:概念与实用场景
本文介绍了 Hologres 索引的概念、类型及在实际场景中的应用。Hologres 是阿里云的一款强大数据库产品,其索引功能显著提升了数据查询性能。文章详细探讨了 B 树索引、哈希索引和位图索引的特点及应用场景,并介绍了索引的创建和维护方法。此外,还列举了 Hologres 中的重要参数设置及其使用限制,最后通过电商、金融、物流和社交媒体等领域的具体案例,展示了索引在不同场景下的实用价值。
60 9
|
1月前
|
运维 数据挖掘 网络安全
场景实践 | 基于Flink+Hologres搭建GitHub实时数据分析
基于Flink和Hologres构建的实时数仓方案在数据开发运维体验、成本与收益等方面均表现出色。同时,该产品还具有与其他产品联动组合的可能性,能够为企业提供更全面、更智能的数据处理和分析解决方案。
|
2月前
|
存储 人工智能 Cloud Native
云栖重磅|从数据到智能:Data+AI驱动的云原生数据库
阿里云瑶池在2024云栖大会上重磅发布由Data+AI驱动的多模数据管理平台DMS:OneMeta+OneOps,通过统一、开放、多模的元数据服务实现跨环境、跨引擎、跨实例的统一治理,可支持高达40+种数据源,实现自建、他云数据源的无缝对接,助力业务决策效率提升10倍。
|
3月前
|
存储 人工智能 Cloud Native
云栖重磅|从数据到智能:Data+AI驱动的云原生数据库
阿里云数据库重磅升级!元数据服务OneMeta + OneOps统一管理多模态数据
|
3月前
|
存储 监控 算法
Hologres 在 BI 场景中的应用
【9月更文第1天】随着企业对实时数据分析的需求不断增加,传统的批处理方式已经无法满足现代业务决策的速度要求。Hologres,作为一款专为在线分析处理(OLAP)设计的实时数仓解决方案,提供了高性能的查询能力,能够支持大规模数据集的实时分析需求。本文将探讨 Hologres 在商业智能(BI)场景中的应用,包括如何集成 BI 工具以提供实时数据洞察,并加速决策过程。
81 3
|
4月前
|
安全 网络安全 数据安全/隐私保护
云原生技术探索:容器化与微服务架构的实践之路网络安全与信息安全:保护数据的关键策略
【8月更文挑战第28天】本文将深入探讨云原生技术的核心概念,包括容器化和微服务架构。我们将通过实际案例和代码示例,展示如何在云平台上实现高效的应用部署和管理。文章不仅提供理论知识,还包含实操指南,帮助开发者理解并应用这些前沿技术。 【8月更文挑战第28天】在数字化时代,网络安全和信息安全是保护个人和企业数据的前线防御。本文将探讨网络安全漏洞的成因、加密技术的应用以及提升安全意识的重要性。文章旨在通过分析网络安全的薄弱环节,介绍如何利用加密技术和提高用户警觉性来构建更为坚固的数据保护屏障。
|
4月前
|
Kubernetes Cloud Native 关系型数据库
云原生数据基础设施之kubeblocks
云原生数据基础设施之kubeblocks
|
4月前
|
存储 分布式计算 数据挖掘
实时数仓 Hologres 问题之适用于业务场景的实时数仓如何搭建
实时数仓 Hologres 问题之适用于业务场景的实时数仓如何搭建
|
4月前
|
运维 监控 搜索推荐
Hologres的应用场景有哪些?
【8月更文挑战第24天】Hologres的应用场景有哪些?
85 2