云原生数据仓库AnalyticDB MySQL湖仓版架构升级,持续释放技术红利!

本文涉及的产品
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
云原生数据仓库AnalyticDB MySQL版,基础版 8ACU 100GB 1个月
简介: 云原生数据仓库AnalyticDB MySQL湖仓版架降价23%!持续提供高性价比的产品服务


【先打一波小广告】

阿里云AnalyticDB MySQL升级为湖仓一体架构,支持高吞吐离线处理和高性能在线分析,可无缝替换CDH/TDH/Databricks/Presto/Spark/Hive等。试用活动(5000ACU时+100GB存储)正在火热进行中,申请链接:https://free.aliyun.com/?searchKey=AnalyticDB%20MySQL,群号:33600023146



无论是数据湖中的非结构化或半结构化数据,还是数据库中的结构化数据,企业都可使用AnalyticDB MySQL版构建数据分析平台,完成高吞吐离线处理和高性能在线分析,快速将企业的关键指标实时可视化展示,完成高吞吐离线处理和高性能在线分析的同时,实现降本增效。

AnalyticDB MySQL湖仓版可无缝替换,CDH/TDH/Databricks/Presto/Spark/Hive等。


🎉 🎉 🎉2023年10月份以来湖仓版ACU(1C4G)单价全面下调23%160元/月下降到 140元/月0.37元/小时下降到 0.3元/小时


具体福利详见文末!

产品介绍


随着业务客户数增长、业务复杂度变高、存量数据积累等原因,数据规模从GB级增长到接近PB级,数据格式也从TP数据源为主的结构化数据,增加了很多半结构化(JSON等)、非结构化数据。客户通常会先在数据湖中做离线处理,对数据进行清洗、过滤、规整等预处理,再通过数据同步工具,将数据同步到数据仓库AnalyticDB中做在线分析。

数据一旦在多个系统间进行同步,就难免会因为数据同步工具的稳定性,带来数据一致性、时效性、数据冗余等问题。比如「数据工程师」在数据湖中看到的ADS表,和「数据分析师」在数据仓库中看到的ADS表的数据可能是不一样的。

阿里云数据仓库AnalyticDB MySQL版针对目前数据仓库和数据湖割裂的体系导致体验、系统复杂度、数据一致性和成本等各方面的挑战,在AnalyticDB MySQL作为数据仓库的基础上推出了AnalyticDB MySQL湖仓版,帮助客户可以同时使用数据仓库和数据湖中的数据自由平衡性价比,并且保持全过程同一体验和数据一致性。

阿里云数据仓库AnalyticDB版湖仓版在数仓版的能力基础上,从数据的采集、存储、计算和应用等方面做了全面的升级。湖仓版是基于计算存储分离架构打造的,同时具备低成本离线处理和高性能在线分析能力的湖仓一体版本,提供将源端数据实时同步到湖(Hudi on OSS)或仓(C-Store)的可视化配置能力。通过底层存储的一份全量数据,来支持离线和在线两种场景,避免因数据同步产生的数据一致性和时效性等问题。计算层支持标准接口的多语言可编程计算引擎Spark。同时湖仓版提供离线业务与在线业务的计算资源物理隔离的能力,能实现计算资源和存储资源按需弹性扩容。


下图是AnalyticDB MySQL湖仓版的技术架构图:

湖仓版支持从RDS/SLS/Kakfa等不同的数据源采集数据,让数据方便地进入湖仓存储。在存储和计算层,湖仓版同时支持自研引擎(「羲和计算引擎」和「玄武存储引擎」)和开源引擎(「Spark计算引擎」和「Hudi存储格式」),一方面借助开源的能力提供更丰富的数据分析场景,另一方面打通了自研和开源之间的互相访问,提供更一体化的体验。



做深自研:融合引擎满足多种场景


存储层:只需一份全量数据,满足离线在线场景

离线场景和在线场景对数据存储的诉求不一致,如何让一份全量数据同时实现高性能在线分析和低成本离线处理,是一大挑战。在线分析场景希望数据尽量在高性能存储介质上提高性能,离线处理希望数据尽量在低成本存储介质上降低存储成本。

为此,湖仓版首先将一份全量数据存在低成本高吞吐存储介质上,低成本离线处理场景直接读写低成本存储介质,降低数据存储和数据IO成本,保证高吞吐;其次将实时数据存在单独的存储IO节点(EIU)上,保证「行级」的数据实时性,同时对全量数据构建索引,并通过Cache能力对数据进行加速,满足百ms级高性能在线分析场景。

湖仓版的「一份数据」方案,很好地解决了因为数据同步带来的数据一致性和数据时效性问题。


计算层:融合计算引擎

在计算层,自研的「羲和计算引擎」MPP模式用来支撑数据的高性能在线分析。但这种流式计算模式并不适合离线处理低成本和高吞吐的特点。因此,湖仓版在「羲和分析计算引擎」中新增加了BSP模式,通过DAG进行任务切分,分批调度,满足有限资源下大数据量计算,支持计算数据落盘。进一步,由于考虑到MPP模式和BSP模式对普通用户存在较高的理解和学习成本,「羲和计算引擎」被升级成「羲和融合计算引擎」,同时提供MPP模式和BSP模式,并计划提供自动切换能力。


极致弹性:千核秒级弹性能力,完美贴合业务负载

云原生的最大优势就是弹性,湖仓版具备弹得起弹得快弹得好三个特点,贴合业务负载,保证查询性能。弹得起是指通过神龙+ECS/ECI构建的两层管控底座,提供更充足的库存保证,资源交付率超过95%;弹得快是通过资源池化、缓存加速等技术,弹性启动效率在10s内;弹得好是提供不同的弹性模型,满足客户的分时弹性和按需灵活弹性的业务场景。湖仓版在9月份推出了新的计算弹性模型Multi-Cluster,该弹性模型作用在AnalyticDB MySQL在线资源组内部,一个在线资源组由一个或者多个Cluster组成,相比普通在线资源组,在易用性、性能和成本上均有了较大提升,可有效应对查询的高并发实时分析场景。



拥抱开源:相比开源性能提升2.7倍

阿里云数据库仓库AnalyticDB MySQL湖仓版积极拥抱开源,满足已经生长在开源生态上的客户可以更平滑地使用湖仓版。外表类型,在Parquet/ORC/JSON/CSV等Append类型数据格式的基础上,新增支持批量更新的Hudi数据格式,帮助用户更好地低成本接入如CDC等数据。计算引擎,在做深「羲和融合计算引擎」的基础上,新增开源活跃度较高的Spark引擎,满足用户对于复杂离线处理和ML机器学习等需求。 AnalyticDB MySQL湖仓版提供了全托管的Spark能力,同开源Spark相比,具备如下优势:

 平滑迁移:采用开源Spark内核,接口和功能100%兼容;

 性能:通过数据缓存、向量化执行、下推优化等,相比开源同版本,10TB TPC-H测试场景下性能提升2.7倍;

成本:提交Spark Job才会触发资源的申请,满足业务波峰波谷对资源弹性的需求,降低资源成本;

高效入仓:使用Storage API替代传统JDBC方式,入仓速度提升5倍

生态增强:提供开箱即用的Notebook能力,当前支持SQL/Python/Scala语言来满足不同工程师的开发需求。拥抱开源不仅仅是简单集成Spark/Hudi/Delta等开源引擎,还包括湖仓库表元数据管理,以便多引擎共享,为此AnalyticDB还提供了统一元数据服务管理湖仓库表元数据,湖仓中的元数据/权限可互通,不同引擎可自由访问湖仓数据而无需重复创建元数据。对于湖仓数据,为屏蔽底层数据存储格式的差异,便于第三方引擎集成,AnalyticDB提供了面向内存列存格式Arrow的Lakehouse API服务,提供统一的读写能力,满足业务对仓存储有大吞吐的诉求,对于仓存储已经通过Arrow格式完成Spark引擎对接。



优势总结

阿里云数据库仓库AnalyticDB MySQL湖仓版的优势可以用程序员最熟悉的数字「1024」进行总结。

1: 是指一份数据,避免数据同步带来的数据一致性、时效性、冗余等问题;

0: 是指灵活弹性,用Serverless的方式贴合业务负载,保证查询性能,降低资源成本;

2: 是指湖仓版同时满足低成本离线处理和高性能在线分析;

4: 是指4个统一,统一计费单位、统一数据管道、统一数据管理、统一数据访问。


近期大降价福利

云原生数据仓库AnalyticDB MySQL版(湖仓版),2023年10月开始,ACU(1C4G)单价全面下调23%: 包年包月ACU单价 从160元/月下降至140元/月按量付费ACU单价 从0.37元/小时下降至0.3元/小时新版定价请点击文末「阅读原文」查看湖仓版3.0定价文档,如有疑问,欢迎入群咨询,钉钉搜索群号:33600023146



👇👇👇



 


相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
7天前
|
运维 持续交付 API
从零构建微服务架构:一次深度技术探索之旅####
【10月更文挑战第28天】 本文记录了作者在从零开始构建微服务架构过程中的深刻技术感悟,通过实战案例详细剖析了微服务设计、开发、部署及运维中的关键要点与挑战。文章首先概述了微服务架构的核心理念及其对企业IT架构转型的重要性,随后深入探讨了服务拆分策略、API网关选型、服务间通信协议选择、容器化部署(Docker+Kubernetes)、以及持续集成/持续部署(CI/CD)流程的设计与优化。最后,分享了在高并发场景下的性能调优经验与故障排查心得,旨在为读者提供一套可借鉴的微服务架构实施路径。 ####
41 3
|
18天前
|
边缘计算 Cloud Native 安全
构建灵活高效的下一代应用架构 随着企业数字化转型的加速,云原生技术正逐渐成为构建现代化应用程序的关键支柱。
随着企业数字化转型加速,云原生技术逐渐成为构建现代化应用的关键。本文探讨了云原生的核心概念(如容器化、微服务、DevOps)、主要应用场景(如金融、电商、IoT)及未来发展趋势(如无服务器计算、边缘计算、多云架构),并分析了面临的挑战,如架构复杂性和安全问题。云原生技术为企业提供了更灵活、高效的应用架构,助力数字化转型。
42 4
|
30天前
|
存储 安全 物联网
操作系统的心脏:深入理解现代操作系统架构与核心技术
本文旨在为读者提供一个关于现代操作系统(OS)架构和核心技术的全面概述。通过分析OS的主要组件、功能以及它们如何协同工作,本文揭示了操作系统在计算机系统中的核心地位及其复杂性。我们将探讨进程管理、内存管理、文件系统和输入/输出(I/O)等关键技术,并讨论它们对系统性能的影响。此外,本文还将涵盖一些最新的操作系统趋势和技术,如云计算、虚拟化和物联网(IoT)。通过阅读本文,读者将获得对操作系统内部运作方式的深刻理解,这对于软件开发人员、IT专业人士以及对计算机科学感兴趣的任何人来说都是宝贵的知识。
|
30天前
|
Cloud Native 持续交付 开发者
探索云原生技术:构建高效、灵活的应用架构
【10月更文挑战第6天】 在当今数字化浪潮中,企业面临着日益复杂的业务需求和快速变化的市场环境。为了保持竞争力,他们需要构建高效、灵活且可扩展的应用程序架构。本文将探讨云原生技术如何帮助企业实现这一目标,并分析其核心概念与优势。通过深入剖析云原生技术的各个方面,我们将揭示其在现代应用开发和部署中的重要性,并提供一些实用的建议和最佳实践。
52 2
|
2月前
|
存储 缓存 API
探索后端技术:构建高效、可扩展的系统架构
在当今数字化时代,后端技术是构建任何成功应用程序的关键。它不仅涉及数据存储和处理,还包括确保系统的高效性、可靠性和可扩展性。本文将深入探讨后端开发的核心概念,包括数据库设计、服务器端编程、API 开发以及云服务等。我们将从基础开始,逐步深入到更高级的主题,如微服务架构和容器化技术。通过实际案例分析,本文旨在为读者提供一个全面的后端开发指南,帮助大家构建出既高效又具有高度可扩展性的系统架构。
|
29天前
|
缓存 Java 数据库
后端技术探索:从基础架构到高效开发的实践之路
【10月更文挑战第7天】 在现代软件开发中,后端技术是支撑应用运行的核心。本文将探讨如何从后端的基础架构出发,通过一系列高效的开发实践,提升系统的性能与可靠性。我们将深入分析后端框架的选择、数据库设计、接口开发等关键领域,并提供实用的代码示例和优化策略,帮助开发者构建更稳定、高效的后端系统。通过这篇文章,读者将获得关于后端开发的全面理解和实践指导,从而更好地应对复杂项目需求。
67 0
|
15天前
|
Kubernetes Cloud Native 持续交付
云端新纪元:云原生技术重塑IT架构####
【10月更文挑战第20天】 本文深入探讨了云原生技术的兴起背景、核心理念、关键技术组件以及它如何引领现代IT架构迈向更高效、灵活与可扩展的新阶段。通过剖析Kubernetes、微服务、Docker等核心技术,本文揭示了云原生架构如何优化资源利用、加速应用开发与部署流程,并促进企业数字化转型的深度实践。 ####
|
2天前
|
Kubernetes Cloud Native 云计算
云原生技术深度解析:重塑企业IT架构的未来####
本文深入探讨了云原生技术的核心理念、关键技术组件及其对企业IT架构转型的深远影响。通过剖析Kubernetes、微服务、容器化等核心技术,本文揭示了云原生如何提升应用的灵活性、可扩展性和可维护性,助力企业在数字化转型中保持领先地位。 ####
|
3天前
|
存储 分布式计算 分布式数据库
风险数据集市整体架构及技术实现
【11月更文挑战第11天】在当今大数据时代,风险数据集市作为金融机构的核心基础设施之一,扮演着至关重要的角色。它不仅为银行、保险等金融机构提供了全面、准确的风险数据支持,还帮助这些机构实现了风险管理的精细化和智能化。本文将深入探讨一种基于大数据Lambda架构设计的风险数据集市整体架构,并详细介绍其底层实现原理及实现方式。
15 3
|
6天前
|
机器学习/深度学习 人工智能 自然语言处理
医疗行业的语音识别技术解析:AI多模态能力平台的应用与架构
AI多模态能力平台通过语音识别技术,实现实时转录医患对话,自动生成结构化数据,提高医疗效率。平台具备强大的环境降噪、语音分离及自然语言处理能力,支持与医院系统无缝集成,广泛应用于门诊记录、多学科会诊和急诊场景,显著提升工作效率和数据准确性。

热门文章

最新文章

相关产品

  • 云原生数据仓库AnalyticDB MySQL版
  • 下一篇
    无影云桌面