阿里下一代云分析型数据库AnalyticDB入选Forrester云化数仓象限

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生数据仓库AnalyticDB MySQL版,基础版 8ACU 100GB 1个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 近期, 全球权威IT咨询机构Forrester发布"The Forrester Wave: CloudData Warehouse Q4 2018"研究报告,阿里巴巴分析型数据库(AnalyticDB)成功入选。

前言

近期, 全球权威IT咨询机构Forrester发布"The Forrester Wave: CloudData Warehouse Q4 2018"研究报告,阿里巴巴分析型数据库(AnalyticDB)成功入选。

AnalyticDB作为阿里巴巴自主研发的PB级实时云数据仓库,全面兼容MySQL协议以及SQL:2003 语法标准,可以毫秒级针对万亿级数据进行即时的多维分析透视和业务探索,帮客户将整个数据分析和价值化从传统的离线分析带到下一代的在线实时分析模式。本文将深入解读AnalyticDB成功入选背后的核心产品以及带来的客户价值。

_1

核心能力一:快和实时

分析型数据库AnalyticDB在瞬间即可对万亿级别的数据进行实时的多维度分析透视,快速发现数据价值。AnalyticDB对复杂SQL查询速度相比传统的关系型数据库快10倍,此外,AnalyticDB还可以快速扩容至数千节点的超大规模,进一步提升查询响应速度。三大模块合力构筑了远远领先竞争对手的性能优势:

  • 智能SQL优化器:针对复杂的SQL查询,AnalyticDB的SQL Optimizer 实现了多种查询改写优化,同时依据统计信息选择JOIN ORDERING最优路径,并支持 CTE 归并等功能。同时针对高并发低延迟查询,提供智能的 Plan cache,将相似SQL Pattern 计划都缓存起来,规避重复优化开销。
  • 曦和计算引擎: AnalyticDB 在2017年全面升级为新一代曦和分布式计算引擎,整体采用MPP架构,并支持DAG计算模型,节点内引入LLVM等运行时编译优化JIT技术,性能提升一倍以上。数据分析任务在曦和计算引擎内被打散成小颗粒的计算单元,引擎内置分时轮询的计算调度机制,可以保证高并发下作业任务的稳定运行。
  • 玄武存储引擎:AnalyticDB支持行列混合存储,同时针对不同的数据类型,当数据实时写入时,智能的构建多种维度索引,包括B+索引、区间索引、倒排索引、位图索引等,并对传统索引算法进行创新,引入动态过滤、延迟物化等方式,极大的降低I/O,实现高性能的点或范围的检索,支持千亿级记录关联分析。

核心能力二:超大规模

AnalyticDB是全分布式结构,使得数据库支持ECU节点动态线性扩容至数千节点。用户可以通过横向扩容来大幅度提升查询SQL响应速度、以及换来SQL处理高并发。

AnalyticDB 基于阿里云飞天系统构筑,AnalyticDB采用分层解耦架构,同时将分析计算、数据写入、索引构建等分离为不同节点,同时各种类型节点采用多活运行模式实现高可用,数据存储在盘古分布式文件系统上,实现高可靠和高性能读写I/O,在整体架构上实现了弹性扩展和高可用。AnalyticDB架构上每一层结构,都充分的考虑了规模化扩展性问题。
_2

核心能力三:高并发实时写入和更新

由于无论是前端接入层、写入节点支持动态大规模扩展,客户可以从最小规模的10万TPS写入能力,通过横向扩容节点提升至1000万+TPS的写入能力,实时写入后,数据秒级别可见,从写入到分析整个数据延迟控制在秒级。

单个表最大支持PB级数据,十万亿记录,传统的数据仓库通常是离线Load数据模式,不具备实时高并发写入能力。正是由于具备海量数据实时写入能力,AnalyticDB数据分析时效性非常高,是企业数据离线计算转实时化的下一代核心解决方案。

核心能力四:灵活

AnalytiDB无论是前端接入层还是弹性计算层、以及数据存储层均是全分布式设计,全局无单点。外加存储计算分离结构,带来的优势是极度灵活。云上客户不仅可以随时进行灵活调整节点数量,还可以做实例规格的动态升降配。AnalytiDB同时支持在存储型的SATA实例和高性能的SSD实例间灵活切换。

举例来说: 可以从8个高性能的c4实例升到12个高性能的c8实例,或从12个c8降到8个c4,甚至从2个高性能c8节点切换至4个大存储SATA的s2n等,企业可以真正做到灵活控制成本。

核心能力五:易用

AnalyticDB作为云端托管的PB级SQL数据仓库,高度兼容MySQL协议和SQL:2003,通过标准SQL和常用的BI工具、以及ETL工具平台即可轻松使用。同时结合阿里云数据传输服务(DTS) + 数据可视化配套(DataV & QuickBI), 轻松拖拽式即可完成企业的实时数据仓库建设。AnalyticDB旨在帮助企业降低实时数据化运营的建设门槛。

微案例:为企业解决数据化建设效率和性能难题

递四方集团(4PX)是领先的跨境电商物流服务提供商。递四方信息科技团队在建设了多年的离线数据平台后,需要短时间内建设PB级别实时数据平台支持数字化运营。递四方信息科技在调研了一系列的解决方案后,综合成本和建设效率等因素,最后选择了基于AnalyticDB来构建实时数据平台。 双方通力合作,在极短时间内通过DTS+AnalyticDB+DataV/QuickBI套件,以简单快速的拖拽配置方式完成了4PX企业实时数仓的初期基础建设。

_3

无他相机作为一款流行的拍照智能App, 有各种用户和App数据需要上报做实时分析,以帮助运营人员做活动效果分析以及开发人员做App分析,不断优化用户体验和App质量。数据总量约100亿,需实时入库更新,客户最早期的方案是MySQL,后续换成了MongoDB,解决了实时写入问题,但是分析性能巨慢。在使用了分析型数据库的存储型实例后,将业务数据直接写入AnalyticDB,不但解决了实时高并发写入问题,复杂分析性能从40分钟+降低到秒级别,高分期QPS 1800+。

_4

典型行业客户-他们也在使用AnalyticDB

_5

展望未来:储备更多创新力量 + 构筑更丰富的生态

分析型数据库AnalyticDB,作为阿里巴巴下一代PB级实时数据仓库, 承载着整个集团内和云上客户的数据价值实时化分析的使命。此次报告可以看出,整个大数据企业服务迈入CDW阶段,灵活、易用、自助化服务成为主流趋势,AnalyticDB接下来将在易用性、数据通道、任务管理、可视化等周边生态建设上继续做广、做深。同时也为未来储备了一些核心力量,并取得阶段性的进展:

  1. 分析型数据库AnalyticDB首次在“双11 全球狂欢节” 采用GPU加速加速技术,在计算成本大幅降低的情况下,服务全球商家将数据分析从离线进入在线时代,支撑PB级数据从T+1计算提速到秒级实时分析。
  2. 向量分析首次支撑银泰、盒马等新零售场景的人脸识别、算法推荐、结构化数据实时融合分析,毫秒级打通线上线下会员体系,支撑实时数据化线下互动、营销。

AnalyticDB为数据价值在线化而生,作为实时云数据仓库平台,希望能将最领先的下一代实时数仓能力普惠给所有企业,帮助企业转型加速数据价值探索和在线化。

欢迎了解更多产品细节,请猛戳→https://www.aliyun.com/product/ads

相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
目录
相关文章
|
6月前
|
Cloud Native OLAP OLTP
在业务处理分析一体化的背景下,开发者如何平衡OLTP和OLAP数据库的技术需求与选型?
在业务处理分析一体化的背景下,开发者如何平衡OLTP和OLAP数据库的技术需求与选型?
191 4
|
3月前
|
SQL NoSQL 关系型数据库
实时数仓Hologres发展问题之实时数仓的类数据库化与HTAP数据库的差异如何解决
实时数仓Hologres发展问题之实时数仓的类数据库化与HTAP数据库的差异如何解决
52 2
|
17天前
|
存储 SQL 缓存
AnalyticDB 实时数仓架构解析
AnalyticDB 是阿里云自研的 OLAP 数据库,广泛应用于行为分析、数据报表、金融风控等应用场景,可支持 100 trillion 行记录、10PB 量级的数据规模,亚秒级完成交互式分析查询。本文是对 《 AnalyticDB: Real-time OLAP Database System at Alibaba Cloud 》的学习总结。
36 1
|
3月前
|
关系型数据库 OLAP 分布式数据库
揭秘Polardb与OceanBase:从OLTP到OLAP,你的业务选对数据库了吗?热点技术对比,激发你的选择好奇心!
【8月更文挑战第22天】在数据库领域,阿里巴巴的Polardb与OceanBase各具特色。Polardb采用共享存储架构,分离计算与存储,适配高并发OLTP场景,如电商交易;OceanBase利用灵活的分布式架构,优化数据分布与处理,擅长OLAP分析及大规模数据管理。选择时需考量业务特性——Polardb适合事务密集型应用,而OceanBase则为数据分析提供强大支持。
932 2
|
3月前
|
SQL 分布式计算 调度
实时数仓 Hologres操作报错合集之在与PostgreSOL数据库进行通信时出现报错,如何解决
实时数仓Hologres是阿里云推出的一款高性能、实时分析的数据库服务,专为大数据分析和复杂查询场景设计。使用Hologres,企业能够打破传统数据仓库的延迟瓶颈,实现数据到决策的无缝衔接,加速业务创新和响应速度。以下是Hologres产品的一些典型使用场景合集。
|
3月前
|
存储 SQL 数据库
实时数仓 Hologres产品使用合集之如何查看当前数据库下的所有表和表属性
实时数仓Hologres是阿里云推出的一款高性能、实时分析的数据库服务,专为大数据分析和复杂查询场景设计。使用Hologres,企业能够打破传统数据仓库的延迟瓶颈,实现数据到决策的无缝衔接,加速业务创新和响应速度。以下是Hologres产品的一些典型使用场景合集。
|
4月前
|
分布式计算 DataWorks 关系型数据库
阿里云数加-分析型数据库AnalyticDB数据导入的多样化策略
通过合理利用这些数据导入方法,用户可以充分发挥AnalyticDB的实时计算能力和高并发查询性能,为业务分析和决策提供强有力的数据支持。
|
6月前
|
SQL 测试技术 OLAP
现代化实时数仓 SelectDB 再次登顶 ClickBench 全球数据库分析性能排行榜!
现代化实时数仓 SelectDB 在时隔两年后再次完成登顶,在全部近百款数据库和数十种机型中,性能位居总榜第一!
现代化实时数仓 SelectDB 再次登顶 ClickBench 全球数据库分析性能排行榜!
|
5月前
|
存储 关系型数据库 MySQL
云原生数据仓库AnalyticDB产品使用合集之是否支持rdb数据库实时同步
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。
184 4
|
5月前
|
存储 缓存 测试技术
现代化实时数仓 SelectDB 再次登顶 ClickBench 全球数据库分析性能排行榜!
近日,在 ClickHouse 发起的分析型数据库性能测试排行榜 ClickBench(https://benchmark.clickhouse.com/)中,现代化实时数仓 SelectDB 时隔两年后再次登顶,在全部近百款数据库和数十种机型中,性能表现位居总榜第一!
174 1