阿里下一代云分析型数据库AnalyticDB入选Forrester云化数仓象限

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生数据仓库AnalyticDB MySQL版,基础版 8ACU 100GB 1个月
简介: 近期, 全球权威IT咨询机构Forrester发布"The Forrester Wave: CloudData Warehouse Q4 2018"研究报告,阿里巴巴分析型数据库(AnalyticDB)成功入选。

前言

近期, 全球权威IT咨询机构Forrester发布"The Forrester Wave: CloudData Warehouse Q4 2018"研究报告,阿里巴巴分析型数据库(AnalyticDB)成功入选。

AnalyticDB作为阿里巴巴自主研发的PB级实时云数据仓库,全面兼容MySQL协议以及SQL:2003 语法标准,可以毫秒级针对万亿级数据进行即时的多维分析透视和业务探索,帮客户将整个数据分析和价值化从传统的离线分析带到下一代的在线实时分析模式。本文将深入解读AnalyticDB成功入选背后的核心产品以及带来的客户价值。

_1

核心能力一:快和实时

分析型数据库AnalyticDB在瞬间即可对万亿级别的数据进行实时的多维度分析透视,快速发现数据价值。AnalyticDB对复杂SQL查询速度相比传统的关系型数据库快10倍,此外,AnalyticDB还可以快速扩容至数千节点的超大规模,进一步提升查询响应速度。三大模块合力构筑了远远领先竞争对手的性能优势:

  • 智能SQL优化器:针对复杂的SQL查询,AnalyticDB的SQL Optimizer 实现了多种查询改写优化,同时依据统计信息选择JOIN ORDERING最优路径,并支持 CTE 归并等功能。同时针对高并发低延迟查询,提供智能的 Plan cache,将相似SQL Pattern 计划都缓存起来,规避重复优化开销。
  • 曦和计算引擎: AnalyticDB 在2017年全面升级为新一代曦和分布式计算引擎,整体采用MPP架构,并支持DAG计算模型,节点内引入LLVM等运行时编译优化JIT技术,性能提升一倍以上。数据分析任务在曦和计算引擎内被打散成小颗粒的计算单元,引擎内置分时轮询的计算调度机制,可以保证高并发下作业任务的稳定运行。
  • 玄武存储引擎:AnalyticDB支持行列混合存储,同时针对不同的数据类型,当数据实时写入时,智能的构建多种维度索引,包括B+索引、区间索引、倒排索引、位图索引等,并对传统索引算法进行创新,引入动态过滤、延迟物化等方式,极大的降低I/O,实现高性能的点或范围的检索,支持千亿级记录关联分析。

核心能力二:超大规模

AnalyticDB是全分布式结构,使得数据库支持ECU节点动态线性扩容至数千节点。用户可以通过横向扩容来大幅度提升查询SQL响应速度、以及换来SQL处理高并发。

AnalyticDB 基于阿里云飞天系统构筑,AnalyticDB采用分层解耦架构,同时将分析计算、数据写入、索引构建等分离为不同节点,同时各种类型节点采用多活运行模式实现高可用,数据存储在盘古分布式文件系统上,实现高可靠和高性能读写I/O,在整体架构上实现了弹性扩展和高可用。AnalyticDB架构上每一层结构,都充分的考虑了规模化扩展性问题。
_2

核心能力三:高并发实时写入和更新

由于无论是前端接入层、写入节点支持动态大规模扩展,客户可以从最小规模的10万TPS写入能力,通过横向扩容节点提升至1000万+TPS的写入能力,实时写入后,数据秒级别可见,从写入到分析整个数据延迟控制在秒级。

单个表最大支持PB级数据,十万亿记录,传统的数据仓库通常是离线Load数据模式,不具备实时高并发写入能力。正是由于具备海量数据实时写入能力,AnalyticDB数据分析时效性非常高,是企业数据离线计算转实时化的下一代核心解决方案。

核心能力四:灵活

AnalytiDB无论是前端接入层还是弹性计算层、以及数据存储层均是全分布式设计,全局无单点。外加存储计算分离结构,带来的优势是极度灵活。云上客户不仅可以随时进行灵活调整节点数量,还可以做实例规格的动态升降配。AnalytiDB同时支持在存储型的SATA实例和高性能的SSD实例间灵活切换。

举例来说: 可以从8个高性能的c4实例升到12个高性能的c8实例,或从12个c8降到8个c4,甚至从2个高性能c8节点切换至4个大存储SATA的s2n等,企业可以真正做到灵活控制成本。

核心能力五:易用

AnalyticDB作为云端托管的PB级SQL数据仓库,高度兼容MySQL协议和SQL:2003,通过标准SQL和常用的BI工具、以及ETL工具平台即可轻松使用。同时结合阿里云数据传输服务(DTS) + 数据可视化配套(DataV & QuickBI), 轻松拖拽式即可完成企业的实时数据仓库建设。AnalyticDB旨在帮助企业降低实时数据化运营的建设门槛。

微案例:为企业解决数据化建设效率和性能难题

递四方集团(4PX)是领先的跨境电商物流服务提供商。递四方信息科技团队在建设了多年的离线数据平台后,需要短时间内建设PB级别实时数据平台支持数字化运营。递四方信息科技在调研了一系列的解决方案后,综合成本和建设效率等因素,最后选择了基于AnalyticDB来构建实时数据平台。 双方通力合作,在极短时间内通过DTS+AnalyticDB+DataV/QuickBI套件,以简单快速的拖拽配置方式完成了4PX企业实时数仓的初期基础建设。

_3

无他相机作为一款流行的拍照智能App, 有各种用户和App数据需要上报做实时分析,以帮助运营人员做活动效果分析以及开发人员做App分析,不断优化用户体验和App质量。数据总量约100亿,需实时入库更新,客户最早期的方案是MySQL,后续换成了MongoDB,解决了实时写入问题,但是分析性能巨慢。在使用了分析型数据库的存储型实例后,将业务数据直接写入AnalyticDB,不但解决了实时高并发写入问题,复杂分析性能从40分钟+降低到秒级别,高分期QPS 1800+。

_4

典型行业客户-他们也在使用AnalyticDB

_5

展望未来:储备更多创新力量 + 构筑更丰富的生态

分析型数据库AnalyticDB,作为阿里巴巴下一代PB级实时数据仓库, 承载着整个集团内和云上客户的数据价值实时化分析的使命。此次报告可以看出,整个大数据企业服务迈入CDW阶段,灵活、易用、自助化服务成为主流趋势,AnalyticDB接下来将在易用性、数据通道、任务管理、可视化等周边生态建设上继续做广、做深。同时也为未来储备了一些核心力量,并取得阶段性的进展:

  1. 分析型数据库AnalyticDB首次在“双11 全球狂欢节” 采用GPU加速加速技术,在计算成本大幅降低的情况下,服务全球商家将数据分析从离线进入在线时代,支撑PB级数据从T+1计算提速到秒级实时分析。
  2. 向量分析首次支撑银泰、盒马等新零售场景的人脸识别、算法推荐、结构化数据实时融合分析,毫秒级打通线上线下会员体系,支撑实时数据化线下互动、营销。

AnalyticDB为数据价值在线化而生,作为实时云数据仓库平台,希望能将最领先的下一代实时数仓能力普惠给所有企业,帮助企业转型加速数据价值探索和在线化。

欢迎了解更多产品细节,请猛戳→https://www.aliyun.com/product/ads

相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
目录
相关文章
|
19天前
|
存储 SQL 缓存
AnalyticDB 实时数仓架构解析
AnalyticDB 是阿里云自研的 OLAP 数据库,广泛应用于行为分析、数据报表、金融风控等应用场景,可支持 100 trillion 行记录、10PB 量级的数据规模,亚秒级完成交互式分析查询。本文是对 《 AnalyticDB: Real-time OLAP Database System at Alibaba Cloud 》的学习总结。
37 1
|
5月前
|
SQL 分布式计算 关系型数据库
实时数仓 Hologres产品使用合集之湖仓加速版查询maxcompute外部表,有什么优化途径吗
实时数仓Hologres的基本概念和特点:1.一站式实时数仓引擎:Hologres集成了数据仓库、在线分析处理(OLAP)和在线服务(Serving)能力于一体,适合实时数据分析和决策支持场景。2.兼容PostgreSQL协议:Hologres支持标准SQL(兼容PostgreSQL协议和语法),使得迁移和集成变得简单。3.海量数据处理能力:能够处理PB级数据的多维分析和即席查询,支持高并发低延迟查询。4.实时性:支持数据的实时写入、实时更新和实时分析,满足对数据新鲜度要求高的业务场景。5.与大数据生态集成:与MaxCompute、Flink、DataWorks等阿里云产品深度融合,提供离在线
|
3月前
|
SQL 消息中间件 OLAP
OneSQL OLAP实践问题之实时数仓中数据的分层如何解决
OneSQL OLAP实践问题之实时数仓中数据的分层如何解决
55 1
|
4月前
|
分布式计算 DataWorks 关系型数据库
阿里云数加-分析型数据库AnalyticDB数据导入的多样化策略
通过合理利用这些数据导入方法,用户可以充分发挥AnalyticDB的实时计算能力和高并发查询性能,为业务分析和决策提供强有力的数据支持。
|
6月前
|
存储 消息中间件 Kafka
流式湖仓增强,Hologres + Flink 构建企业级实时数仓
2023 年 12 月,由阿里云主办的实时计算闭门会在北京举行,阿里云实时数仓 Hologres 研发负责人姜伟华现场分享 Hologres+Flink 构建的企业级实时数仓,实现全链路的数据实时计算、实时写入、实时更新、实时查询。
120949 107
流式湖仓增强,Hologres + Flink 构建企业级实时数仓
|
5月前
|
存储 关系型数据库 MySQL
云原生数据仓库AnalyticDB产品使用合集之是否支持rdb数据库实时同步
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。
184 4
|
6月前
|
Cloud Native 自动驾驶 NoSQL
亚太唯一,阿里云连续4年入选Gartner®云数据库管理系统魔力象限领导者象限
国际市场研究机构Gartner®日前公布2023年度全球《云数据库管理系统魔力象限》报告,阿里云成为亚太区唯一入选该报告“领导者(LEADERS)”象限的科技公司,同时也是唯一一家连续4年入选“领导者”象限的中国企业。
亚太唯一,阿里云连续4年入选Gartner®云数据库管理系统魔力象限领导者象限
|
6月前
|
SQL Cloud Native 关系型数据库
AnalyticDB MySQL湖仓版是一个云原生数据仓库
【2月更文挑战第15天】AnalyticDB MySQL湖仓版是一个云原生数据仓库
74 2
|
11月前
|
SQL Cloud Native 关系型数据库
自动弹性,QPS线性提升,一文读懂云原生数仓AnalyticDB弹性技术原理
云原生数仓AnalyticDB MySQL推出Multi-Cluster弹性资源模式,它具备贴合用户负载、自动配置、性能线性提升等优点,进一步帮用户节省成本,提高计算效率。
自动弹性,QPS线性提升,一文读懂云原生数仓AnalyticDB弹性技术原理
|
6月前
|
存储 消息中间件 Kafka
实时湖仓增强,Hologres + Flink构建企业级实时数仓
本文主要介绍Hologres+Flink构建的企业级实时数仓,实现全链路的数据实时计算、实时写入、实时更新、实时查询。