重磅发布|云原生数据仓库AnalyticDB技术架构升级,大幅降低存储成本

本文涉及的产品
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
云原生数据仓库AnalyticDB MySQL版,基础版 8ACU 100GB 1个月
简介: 云原生数据仓库AnalyticDB技术架构重磅升级,实现秒级扩缩容、大幅降低存储成本。

2021杭州云栖大会上,阿里云宣布云原生数据仓库AnalyticDB推出云原生+离在线一体化重大技术架构升级。AnalyticDB云原生架构基于云基础设施提供的资源池化和弹性存储能力,结合传统MPP数据库架构、离在线一体化技术以及Serverless技术创新,实现了存储计算分离、分层存储、秒级扩缩容以及多实例数据实时共享等诸多新特性,最高可降低10倍存储成本,大幅提升了计算和写入性能,让数据分析更实时、简单、高效。

3篇.jpg


AnalyticDB云原生架构版具有3大核心亮点:


1、秒级扩缩容和按需付费:AnalyticDB采用对象存储OSS作为持久化数据存储,采用分布式跨可用区的分布式事务引擎保存元数据,计算节点完全无状态化,存储和计算按需付费。实现秒级扩缩容能力,解决传统架构扩缩容过程中时间长、业务中断、存储计算耦合不灵活等痛点。


2、离在线一体化:采用高效的向量化以及Codegen技术,通过基于SIMD的向量化执行优化,在标准的TPC-DS测试集上带来5倍以上的性能提升;针对在线、离线混合负载场景,引入算子级时间片公平调度技术,实际压测中在线查询的RT最高可降低20倍;实现一个SQL引擎支持高并发交互式分析、实时更新以及高吞吐ETL处理。


3、满足事务一致性的高吞吐写和高性能读:AnalyticDB可支撑海量数据的高并发、高吞吐率写入,实现每秒百万行实时写入和更新。此外,还为用户提供了高性能读能力(接近本地盘)、以及低成本(可比拟对象存储)。读写均能满足事务ACID特性,写入数据实时可见。


随着数据规模爆炸性增长,数据处理技术也面临数据一致性和实时性、非结构化与结构化数据融合等新挑战。本次发布的云原生数据仓库AnalyticDB「云原生+离在线一体化」技术架构升级版,可大幅降低用户使用成本、为业务创新提速,让企业数据分析实时化、数据价值在线化。


目前,阿里云AnalyticDB已帮助制造业、金融、交通及政务等多个行业的数千家企业客户构建云原生数据仓库,满足企业快速增长、日趋复杂多变的数据分析需求,其中包括国税总局、中国南方航空、中国邮政、江门农商银行等,服务了众多事关国计民生的社会基础服务。

相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
目录
相关文章
|
7天前
|
机器学习/深度学习 编解码 人工智能
超越Transformer,全面升级!MIT等华人团队发布通用时序TimeMixer++架构,8项任务全面领先
一支由麻省理工学院、香港科技大学(广州)、浙江大学和格里菲斯大学的华人研究团队,开发了名为TimeMixer++的时间序列分析模型。该模型在8项任务中超越现有技术,通过多尺度时间图像转换、双轴注意力机制和多尺度多分辨率混合等技术,实现了性能的显著提升。论文已发布于arXiv。
123 83
|
23天前
|
消息中间件 Java Kafka
实时数仓Kappa架构:从入门到实战
【11月更文挑战第24天】随着大数据技术的不断发展,企业对实时数据处理和分析的需求日益增长。实时数仓(Real-Time Data Warehouse, RTDW)应运而生,其中Kappa架构作为一种简化的数据处理架构,通过统一的流处理框架,解决了传统Lambda架构中批处理和实时处理的复杂性。本文将深入探讨Kappa架构的历史背景、业务场景、功能点、优缺点、解决的问题以及底层原理,并详细介绍如何使用Java语言快速搭建一套实时数仓。
113 4
|
28天前
|
人工智能 Cloud Native 算法
|
2月前
|
存储 消息中间件 人工智能
ApsaraMQ Serverless 能力再升级,事件驱动架构赋能 AI 应用
本文整理自2024年云栖大会阿里云智能集团高级技术专家金吉祥的演讲《ApsaraMQ Serverless 能力再升级,事件驱动架构赋能 AI 应用》。
125 10
|
1月前
|
存储 SQL 缓存
AnalyticDB 实时数仓架构解析
AnalyticDB 是阿里云自研的 OLAP 数据库,广泛应用于行为分析、数据报表、金融风控等应用场景,可支持 100 trillion 行记录、10PB 量级的数据规模,亚秒级完成交互式分析查询。本文是对 《 AnalyticDB: Real-time OLAP Database System at Alibaba Cloud 》的学习总结。
57 1
|
22天前
|
机器学习/深度学习 存储 人工智能
政务部门人工智能OCR智能化升级:3大技术架构与4项核心功能解析
本项目针对政务服务数字化需求,建设智能文档处理平台,利用OCR、信息抽取和深度学习技术,实现文件自动解析、分类、比对与审核,提升效率与准确性。平台强调本地部署,确保数据安全,解决低质量扫描件、复杂表格等痛点,降低人工成本与错误率,助力智慧政务发展。
|
2月前
|
存储 SQL 分布式计算
湖仓一体架构深度解析:构建企业级数据管理与分析的新基石
【10月更文挑战第7天】湖仓一体架构深度解析:构建企业级数据管理与分析的新基石
135 1
|
2月前
|
存储 SQL 缓存
Apache Doris 3.0 里程碑版本|存算分离架构升级、湖仓一体再进化
从 3.0 系列版本开始,Apache Doris 开始支持存算分离模式,用户可以在集群部署时选择采用存算一体模式或存算分离模式。基于云原生存算分离的架构,用户可以通过多计算集群实现查询负载间的物理隔离以及读写负载隔离,并借助对象存储或 HDFS 等低成本的共享存储系统来大幅降低存储成本。
Apache Doris 3.0 里程碑版本|存算分离架构升级、湖仓一体再进化
|
4月前
|
存储 缓存 Cloud Native
MPP架构数据仓库使用问题之ADB PG云原生版本的扩缩容性能怎么样
MPP架构数据仓库使用问题之ADB PG云原生版本的扩缩容性能怎么样
MPP架构数据仓库使用问题之ADB PG云原生版本的扩缩容性能怎么样
|
5月前
|
SQL Cloud Native 关系型数据库
云原生数据仓库使用问题之分组优化如何实现
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。

相关产品

  • 云原生数据仓库AnalyticDB MySQL版