云栖大会2022年云原生数据仓库AnalyticDB重磅发布

简介: 薛菲 阿里云数据库事业部高级产品专家演讲稿

image.png

传统企业在实现数据链路时需要四个步骤,分别为抽取、加工、存储与分析,抽取、加工一般在数据库完成,存储、分析一般在数据仓库完成,中间存在巨大的鸿沟。
image.png

新一代的AnalyticDB湖仓版正式公测发布,它能够实现全链路、端到端的数据处理与数据分析一体化,为用户提供数据湖的规模以及数据库的体验,其特性可以用1024来总结。
“1”指一份数据,离线数据和在线分析数据一体化,无需烦恼一致性和时效性。
“0”指0度灵活弹性,弹得好,弹得起,弹得快,资源成本降低30%以上。
“2”指2种模型,离线处理和在线分析一个引擎两种模型,可以一站式完成计算,自动智能切换。
“4”指4个统一。包括统一计费单位、统一数据管道、统一数据管理与统一数据访问,使得整体开发体验更顺滑,预期提高开发效率 30% 以上。
image.png

一份全量数据存储在对象存储上。对象存储的特点是低成本与高吞吐的读取,且一份全量数据可避免数据冗余,无需存储两份,节省存储成本,也能满足一致性与时效性的要求。内部存储可以直接使用BSP引擎进行追加写与粗糙读的交互,较好地满足离线处理的要求,实现低成本的目标。存储交互与数仓BSP的交互完全隔离,因此较好地实现了数据处理与数据分析的一致性。
在线分析在一份存储的基础上,增加了IO加速节点EIU,数据存储在EIU中可以实现高并发、高性能的实时增删改操作。在计算节点有自动的全数据多级倒排索引,可以通过智能缓存的方式下推,使得在实时数据存储上得到更好的性能。
image.png

灵活弹性可以总结为弹得好、弹得起、弹得快。
AnalyticDB提供了两种弹性策略,分别是分时弹性以及按需弹性以满足不同负载。分时策略适合在线分析业务,客户可以设定波峰、波谷的时间,提前部署资源。按需策略适合数据处理、离线处理、机器学习等,可以更好地贴合业务负载,实现更极致的弹性。
弹得起指需要资源时,云厂商能够提供足够的资源。我们通过神龙+ECS+ECI布置了三层资源网络,可实现客户99%以上的弹性资源交付率。另外处理能力秒级扩展,基于资源池化后通过缓存加速等技术实现。
image.png

AnalyticDB的融合引擎可以支持两种模式,分别是MPP与BSP,其中MPP能够实现及时分析,latency 较快;而DSP更适合long running 、对容错具有一定要求的数据处理。另外两种模式可进行自动切换,比如以MPP模式运行时,系统会自动检测该任务是否更适合DSP ,如果是,则自动切换为DSP。
未来,我们计划对一个任务中的不同算子智能地进行MPP与BSP分布,以实现资源巩固,帮助客户提升资源利用率。
image.png

AnalyticDB实现了一份数据,无论数据是存储在湖内租户还是仓内租户,对客户而言都是同一张表,因此我们实现了统一管理与统一的权限访问。另外,也会开放存储的Storage API,可以对存储实现统一访问,外部开放的数据引擎比如Spark、Presto也可以通过Storage API直接访问数据仓库里的数据,而无需腾挪数据。
image.png

AnalyticDB的使用场景覆盖了新零售、游戏、金融以及汽车制造业,主要应用于CDP用户数据平台、用户行为分析以及营销全流程平台。
image.png

我们已经与很多客户建立了深入合作。
金融领域的深万宏源证券,使用了ADB 替换了传统数仓,实现了整体数据平台的升级,成本下降50%,整体性能提升100%,平稳迁移25000+任务和百TB级数据。
波克城市通过ADB实现了秒级分析万亿级游戏行为的日志数据。

image.png

相关实践学习
数据库实验室挑战任务-初级任务
本场景介绍如何开通属于你的免费云数据库,在RDS-MySQL中完成对学生成绩的详情查询,执行指定类型SQL。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
3月前
|
SQL 关系型数据库 MySQL
在云数据仓库AnalyticDB MySQL版中,有几个参数可能影响SELECT查询的执行及其稳定性
在云数据仓库AnalyticDB MySQL版中,有几个参数可能影响SELECT查询的执行及其稳定性【1月更文挑战第16天】【1月更文挑战第80篇】
291 4
|
4月前
电子好书发您分享《阿里云云原生一体化数仓新能力解读》
电子好书发您分享《阿里云云原生一体化数仓新能力解读》
262 2
|
1月前
|
SQL Cloud Native 关系型数据库
AnalyticDB MySQL湖仓版是一个云原生数据仓库
【2月更文挑战第15天】AnalyticDB MySQL湖仓版是一个云原生数据仓库
24 2
|
3月前
|
分布式计算 DataWorks 关系型数据库
在云数据仓库AnalyticDB MySQL版中,LIMIT的大小是由系统参数max_limit控制的
【1月更文挑战第7天】【1月更文挑战第31篇】在云数据仓库AnalyticDB MySQL版中,LIMIT的大小是由系统参数max_limit控制的
30 1
|
4月前
电子好书发您分享《阿里云云原生一体化数仓新能力解读》
电子好书发您分享《阿里云云原生一体化数仓新能力解读》
74 1
|
4月前
电子好书发您分享《阿里云云原生一体化数仓新能力解读》
电子好书发您分享《阿里云云原生一体化数仓新能力解读》
128 1
|
4月前
|
SQL Cloud Native 关系型数据库
自动弹性,QPS线性提升,一文读懂云原生数仓AnalyticDB弹性技术原理
云原生数仓AnalyticDB MySQL推出Multi-Cluster弹性资源模式,它具备贴合用户负载、自动配置、性能线性提升等优点,进一步帮用户节省成本,提高计算效率。
自动弹性,QPS线性提升,一文读懂云原生数仓AnalyticDB弹性技术原理
|
4月前
|
存储 分布式计算 关系型数据库
云原生数据仓库AnalyticDB MySQL湖仓版架构升级,持续释放技术红利!
云原生数据仓库AnalyticDB MySQL湖仓版架降价23%!持续提供高性价比的产品服务
|
2月前
|
SQL 存储 数据管理
阿里云视觉智能开放平台的逻辑数仓基于统一的SQL语法
【2月更文挑战第9天】阿里云视觉智能开放平台的逻辑数仓基于统一的SQL语法
52 2
|
3月前
|
存储 关系型数据库 MySQL
在阿里云的AnalyticDB MySQL版中使用CREATE TABLE语句来创建内表
在阿里云的AnalyticDB MySQL版中使用CREATE TABLE语句来创建内表【1月更文挑战第16天】【1月更文挑战第78篇】
212 3

热门文章

最新文章