基于HybridDB for MySQL的企业ODS方案

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 随着DT时代的到来,数据的价值日益凸显。企业积累的数据越来越多,数据库的规模也达到成百上千个实例,数据的规模更可能达到上百TB甚至PB级。如何以合理的成本管理并维护海量实例,利用尽可能短的时间窗口进行挖掘分析,成为各个企业IT管理中的核心问题。

随着DT时代的到来,数据的价值日益凸显。企业积累的数据越来越多,数据库的规模也达到成百上千个实例,数据的规模更可能达到上百TB甚至PB级。如何以合理的成本管理并维护海量实例,利用尽可能短的时间窗口进行挖掘分析,成为各个企业IT管理中的核心问题。

当前方案,在线处理和离线分离,系统架构详见下图 
常见业务场景
1、为了满足分析需要,ETL策略为ELT(Extraction-Loading-Transformation),将全量数据同步到大数据平台中(MaxCompute、EMR、或自建Hadoop)中进行离线运算,定期完成数据整合后供如决策支持类分析型应用使用。

2、自建或者云上的大数据平台拉取生产数据:

a)不允许入侵到生产库,以免引起生产库的性能波动。

b)生产数据库申请只读实例,并设定相关权限。

c)大数据平台可通过同步工具(DTS、CDP等)访问只读实例,也可写相应调度任务和程序访问。

d)根据访问要求设置只读实例相关访问权限。
业务痛点
1、数据分析类 
a)需要数据搬运,所以分析以T+1为主,很难做到实时分析。 
b)即席查询只能基于各个只读实例,需要配置多个数据源,增加开发难度。 

c)自助式查询,在执行SQL验证正确性时的时执行时间较长,影响开发效率。


2、运维类 
a)除了日常维护外,还需要维护只读实例,包括白名单、访问控制、日志同步等。 
b)自建数据库需要在自行搭建和维护只读实例,和云环境整体对接运维成本开销巨大。 

c)当实例量超过100+后,运维难度成倍数增长。


解决之道:引入HTAP数据库HybridDB for MySQL数据库充当ODS层。查看详情


1、实时推送:使用非入侵的数据同步方案,替换原只读实例。将所有MySQL的生产数据实时同步推送到HybridDB for MySQL中,按需生成一份涵盖当前决策需求的镜像。


2、T+0分析支持:数据实时同步到HybridDB for MySQL中,可支撑T+0分析的查询场景。


3、数据回流加速查询:将离线计算后的结果回流HybridDB for MySQL,加速查询性能。和业务数据提供更好的交互式查询。


4、降低开发难度:数据源由若干只读实例变为一个HybridDB for MySQL,在一份数据上按需完成整合,极大地降低了发开复杂度。


5、降低运维成本:干只读实例的运维成本下降为一个HybridDB for MySQL实例,帮助DBA可以从繁琐的运维事务中抽身出来,将精力投入更有意义的事情中,从数据架构本身出发更好地指导业务发展。


关于HybridDB for MySQL
是同时支持在线事务(OLTP)和在线分析(OLAP)的关系型 HTAP 类数据库。 
HTAP是Hybrid Transaction/Analytical Processing的简写,意为将数据的事务处理(TP)与分析(AP)混合处理,从而实现对数据的实时处理分析。<<查看详情 >>
相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
7月前
|
存储 关系型数据库 MySQL
轻松入门MySQL:数据库设计之范式规范,优化企业管理系统效率(21)
轻松入门MySQL:数据库设计之范式规范,优化企业管理系统效率(21)
189 0
|
1月前
|
存储 SQL 关系型数据库
Mysql高可用架构方案
本文阐述了Mysql高可用架构方案,介绍了 主从模式,MHA模式,MMM模式,MGR模式 方案的实现方式,没有哪个方案是完美的,开发人员在选择何种方案应用到项目中也没有标准答案,合适的才是最好的。
164 3
Mysql高可用架构方案
|
2月前
|
存储 关系型数据库 MySQL
MySQL在企业内部应用场景有哪些
【10月更文挑战第17天】MySQL在企业内部应用场景有哪些
105 0
|
3天前
|
存储 缓存 关系型数据库
【MySQL进阶篇】存储引擎(MySQL体系结构、InnoDB、MyISAM、Memory区别及特点、存储引擎的选择方案)
MySQL的存储引擎是其核心组件之一,负责数据的存储、索引和检索。不同的存储引擎具有不同的功能和特性,可以根据业务需求 选择合适的引擎。本文详细介绍了MySQL体系结构、InnoDB、MyISAM、Memory区别及特点、存储引擎的选择方案。
【MySQL进阶篇】存储引擎(MySQL体系结构、InnoDB、MyISAM、Memory区别及特点、存储引擎的选择方案)
|
12天前
|
SQL 关系型数据库 MySQL
数据库数据恢复—Mysql数据库表记录丢失的数据恢复方案
Mysql数据库故障: Mysql数据库表记录丢失。 Mysql数据库故障表现: 1、Mysql数据库表中无任何数据或只有部分数据。 2、客户端无法查询到完整的信息。
|
4月前
|
关系型数据库 MySQL 数据库
|
1月前
|
关系型数据库 MySQL
mysql 5.7.x版本查看某张表、库的大小 思路方案说明
mysql 5.7.x版本查看某张表、库的大小 思路方案说明
73 5
|
1月前
|
关系型数据库 MySQL
mysql 5.7.x版本查看某张表、库的大小 思路方案说明
mysql 5.7.x版本查看某张表、库的大小 思路方案说明
45 1
|
3月前
|
存储 SQL 关系型数据库
【MySQL调优】如何进行MySQL调优?从参数、数据建模、索引、SQL语句等方向,三万字详细解读MySQL的性能优化方案(2024版)
MySQL调优主要分为三个步骤:监控报警、排查慢SQL、MySQL调优。 排查慢SQL:开启慢查询日志 、找出最慢的几条SQL、分析查询计划 。 MySQL调优: 基础优化:缓存优化、硬件优化、参数优化、定期清理垃圾、使用合适的存储引擎、读写分离、分库分表; 表设计优化:数据类型优化、冷热数据分表等。 索引优化:考虑索引失效的11个场景、遵循索引设计原则、连接查询优化、排序优化、深分页查询优化、覆盖索引、索引下推、用普通索引等。 SQL优化。
653 15
【MySQL调优】如何进行MySQL调优?从参数、数据建模、索引、SQL语句等方向,三万字详细解读MySQL的性能优化方案(2024版)
|
3月前
|
存储 SQL 关系型数据库
一篇文章搞懂MySQL的分库分表,从拆分场景、目标评估、拆分方案、不停机迁移、一致性补偿等方面详细阐述MySQL数据库的分库分表方案
MySQL如何进行分库分表、数据迁移?从相关概念、使用场景、拆分方式、分表字段选择、数据一致性校验等角度阐述MySQL数据库的分库分表方案。
531 15
一篇文章搞懂MySQL的分库分表,从拆分场景、目标评估、拆分方案、不停机迁移、一致性补偿等方面详细阐述MySQL数据库的分库分表方案