《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB MySQL版解析与实践(上)——一、产品概述

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
全局流量管理 GTM,标准版 1个月
简介: 《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB MySQL版解析与实践(上)——一、产品概述

1. 产品简介

 

云原生数据仓库AnalyticDB MySQL版ADB MySQL是融合数据库、大数据技术于一体的云原生企业级数据仓库服务。支持高吞吐的数据实时增删改、低延时的实时分析和复杂ETL,兼容上下游生态工具,可用于构建企业级报表系统、数据仓库和数据服务引擎。云原生数据库也包括PolarDB。

 

云原生可以从两个方面进行介绍:云和原生。随着云计算的发展,应用上云已是趋势;所谓原生是指系统在设计之初使用了云的技术架构。云原生系统的优势是利用云计算的分布式和弹性能力。

 

云原生数据仓库AnalyticDB MySQL版有以下特点:

 

兼容MySQL&超越MySQLMysql兼容99%;ANSI SQL:2013复杂分析支持

完美的生态支持20多种BI工具和OLTP与NoSQL无缝实时同步,包括RDS、PolarDB

存储计算分离架构提供极致性价比:云原生中采用存储计算分离架构可以为用户提供弹性及更好的性价比

一套存储支持实时写入、点查、多维分析多场景的混合负载

完备的企业级特性具有备份、Flashback、回收站、审计、自建账号VPC功能

MPP与DAG融合计算引擎实现数据库与大数据一体化:CBO与CodeGen、智能混合负载实现离线一体化,AI扩展与向量检索实现结构化/非结构化数据联合分析。

 

image.png 

 

2. 产品定位

 

云原生数据仓库AnalyticDB MySQL版为企业级客户提供数据处理ETL、实时在线分析、核心报表、大屏和监控能力,提供稳定的离线和在线数据服务。

 

事务数据库RDS/MYSQL/ORACLE特点:数据量小于1TB的事务为主,使用成本为分析类功能不齐全,超过1TB分析性能慢

AnalyticDB for MySQL特点:数据量1T-10PB,使用成本包括SQL数据库习惯,支持数据实时传输且高并发

大数据系统Hadoop/Spark特点:数据量大于10PB,使用成本包括部署复杂、使用成本高,不支持数据实时传输且并发低

 

问题

 

事务数据库用户,数据小于1TB,分析功能和性能无法满足

中小传统企业,数据量小于10PB,大数据部署成本高,使用复杂

互联网数据类产品,例如电商卖家数据大盘等,要求高并发

 

AnalyticDB MySQL版定位:简单易用的PB级实时数据仓库,可以满足以上需求。

 

3. 产品特点与优势

 

AnalyticDB for MySQL是新一代高性能、高可用,高性价比的企业级云原生数据仓库,有如下四个特点:

 

资源弹性:采用存储计算分离架构,支持存储计算资源在线扩缩容,支持BG到PB数据规模实时计算。

高性能:支持海量数据毫秒/秒级实时多维分析查询,支持数据实时高并发写入,数据实时更新立即可见。

低成本:支持资源分时弹性、冷热数据分层、资源组隔离等功能,计算资源和存储资源成本大幅降低。支持按量计费,单GB存储成本低至0.144元/月。

高可用:采用分布式技术架构,保障服务稳定高可用运行;通过阿里云云盘多副本机制实现数据可靠性保证。

 

4. 产品核心功能

 

1) 分时弹性

 

支持按小时设置计算资源弹性扩容规则,解决计算资源峰谷需求问题,降低计算资源成本。

 

白天查询业务高峰:白天工作高峰期,准时弹出计算资源,让业务查询更快,提高应用体验。

晚上ETL计算高峰:晚上ETL高峰期,准时弹出计算资源,让ETL计算任务稳定运行,低峰期准时释放,降低资源成本。

 

如下图,在上午8:30至11:30为业务高峰期,此时的负载为70%,QPS为400,响应时间为440ms,通过分时弹性,在业务高峰期将计算资源进行扩容,由原来的64core扩容至256core,来保障业务高峰期的平稳运行。在业务低峰期准时释放资源,降低资源使用成本。

 

image.png

 

2) 冷热数据分层

 

支持数据在表和分区级别分为热数据和冷数据,热数据存储在高性能介质,加快查询计算速度;冷数据存储在便宜的HDD介质上,节约存储成本。

 

冷热数据设置:在建表语句中设置表和分区的冷热属性,数据分别写入到对应的介质。

冷热数据切换:可以随时修改表和分区的冷热属性,系统自动进行数据搬迁。

相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
2月前
|
安全 关系型数据库 MySQL
PHP与MySQL交互:从入门到实践
【9月更文挑战第20天】在数字时代的浪潮中,掌握PHP与MySQL的互动成为了开发动态网站和应用程序的关键。本文将通过简明的语言和实例,引导你理解PHP如何与MySQL数据库进行对话,开启你的编程之旅。我们将从连接数据库开始,逐步深入到执行查询、处理结果,以及应对常见的挑战。无论你是初学者还是希望提升技能的开发者,这篇文章都将为你提供实用的知识和技巧。让我们一起探索PHP与MySQL交互的世界,解锁数据的力量!
|
5天前
|
NoSQL 关系型数据库 MySQL
MySQL与Redis协同作战:百万级数据统计优化实践
【10月更文挑战第21天】 在处理大规模数据集时,传统的单体数据库解决方案往往力不从心。MySQL和Redis的组合提供了一种高效的解决方案,通过将数据库操作与高速缓存相结合,可以显著提升数据处理的性能。本文将分享一次实际的优化案例,探讨如何利用MySQL和Redis共同实现百万级数据统计的优化。
31 9
|
25天前
|
人工智能 自然语言处理 关系型数据库
阿里云云原生数据仓库 AnalyticDB PostgreSQL 版已完成和开源LLMOps平台Dify官方集成
近日,阿里云云原生数据仓库 AnalyticDB PostgreSQL 版已完成和开源LLMOps平台Dify官方集成。
|
15天前
|
人工智能 分布式计算 数据管理
阿里云位居 IDC MarketScape 中国实时湖仓评估领导者类别
国际数据公司( IDC )首次发布了《IDC MarketScape: 中国实时湖仓市场 2024 年厂商评估》,阿里云在首次报告发布即位居领导者类别。
|
16天前
|
SQL 分布式计算 数据挖掘
加速数据分析:阿里云Hologres在实时数仓中的应用实践
【10月更文挑战第9天】随着大数据技术的发展,企业对于数据处理和分析的需求日益增长。特别是在面对海量数据时,如何快速、准确地进行数据查询和分析成为了关键问题。阿里云Hologres作为一个高性能的实时交互式分析服务,为解决这些问题提供了强大的支持。本文将深入探讨Hologres的特点及其在实时数仓中的应用,并通过具体的代码示例来展示其实际应用。
89 0
|
27天前
|
消息中间件 监控 关系型数据库
MySQL数据实时同步到Elasticsearch:技术深度解析与实践分享
在当今的数据驱动时代,实时数据同步成为许多应用系统的核心需求之一。MySQL作为关系型数据库的代表,以其强大的事务处理能力和数据完整性保障,广泛应用于各种业务场景中。然而,随着数据量的增长和查询复杂度的提升,单一依赖MySQL进行高效的数据检索和分析变得日益困难。这时,Elasticsearch(简称ES)以其卓越的搜索性能、灵活的数据模式以及强大的可扩展性,成为处理复杂查询需求的理想选择。本文将深入探讨MySQL数据实时同步到Elasticsearch的技术实现与最佳实践。
62 0
|
2月前
|
存储 机器学习/深度学习 监控
阿里云 Hologres OLAP 解决方案评测
随着大数据时代的到来,企业面临着海量数据的挑战,如何高效地进行数据分析和决策变得尤为重要。阿里云推出的 Hologres OLAP(在线分析处理)解决方案,旨在为用户提供快速、高效的数据分析能力。本文将深入探讨 Hologres OLAP 的特点、优势以及应用场景,并针对方案的技术细节、部署指导、代码示例和数据分析需求进行评测。
117 7
|
2月前
|
运维 数据挖掘 OLAP
阿里云Hologres:一站式轻量级OLAP分析平台的全面评测
在数据驱动决策的今天,企业对高效、灵活的数据分析平台的需求日益增长。阿里云的Hologres,作为一站式实时数仓引擎,提供了强大的OLAP(在线分析处理)分析能力。本文将对Hologres进行深入评测,探讨其在多源集成、性能、易用性以及成本效益方面的表现。
86 7
|
3月前
|
API C# 开发框架
WPF与Web服务集成大揭秘:手把手教你调用RESTful API,客户端与服务器端优劣对比全解析!
【8月更文挑战第31天】在现代软件开发中,WPF 和 Web 服务各具特色。WPF 以其出色的界面展示能力受到欢迎,而 Web 服务则凭借跨平台和易维护性在互联网应用中占有一席之地。本文探讨了 WPF 如何通过 HttpClient 类调用 RESTful API,并展示了基于 ASP.NET Core 的 Web 服务如何实现同样的功能。通过对比分析,揭示了两者各自的优缺点:WPF 客户端直接处理数据,减轻服务器负担,但需处理网络异常;Web 服务则能利用服务器端功能如缓存和权限验证,但可能增加服务器负载。希望本文能帮助开发者根据具体需求选择合适的技术方案。
119 0
|
3月前
|
存储 关系型数据库 MySQL
深入MySQL:事务日志redo log详解与实践
【8月更文挑战第24天】在MySQL的InnoDB存储引擎中,为确保事务的持久性和数据一致性,采用了redo log(重做日志)机制。redo log记录了所有数据修改,在系统崩溃后可通过它恢复未完成的事务。它由内存中的redo log buffer和磁盘上的redo log file组成。事务修改先写入buffer,再异步刷新至磁盘,最后提交事务。若系统崩溃,InnoDB通过redo log重放已提交事务并利用undo log回滚未提交事务,确保数据完整。理解redo log工作流程有助于优化数据库性能和确保数据安全。
456 0

推荐镜像

更多