企业运维训练营之数据库原理与实践—数据库DAS简介和备份上云方案—数据上云(中)

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: 企业运维训练营之数据库原理与实践—数据库DAS简介和备份上云方案—数据上云(中)

接上篇:https://developer.aliyun.com/article/1224101?spm=a2c6h.13148508.setting.16.7b3f4f0efVOU75image.png

 

数据订阅支持实时拉取RDS实例的增量日志,让用户通过SDK订阅增量日志,实现数据定制化消费。

 

DTS服务端的日志拉取模块从数据源抓取原始数据,经过解析、过滤、标准化流程,将这些增量数据本地化。该模块通过数据库协议连接并实时拉取远端的增量日志。

数据订阅功能具有高可用性,其原因主要在于以下两点:

 

其一,日志拉取模块及下游SDK通过容灾系统,一旦检测到日志拉取模块出现异常,会在健康服务节点上断点,重启日志拉取模块,保证日志拉取模块的高可用性。

 

其二,DTS支持服务端实现下游SDK消费进程中的高可用性。用户可以同时对一个数据订阅链路启动了多个下游SDK消费进程,服务端会同时向一个下游消费推送增量数据。当某消费进程异常后,服务端会从其他健康下游中选择一个消费进程并推送数据,从而实现了下游消费的高可用性。

 

image.png

 

普通DTS的创建方式是共享型,创建了一个 DTS任务,其资源可能在多个集群上共享。为了更好地服务不同需求的客户,DTS推出了专属集群的概念。在某一地域内,由多台相同规格的虚拟机组成集群,每一个用户都独享专属集群的资源,具有资源独享、稳定性强、高性能、低成本的特点。

 

高性能。与普通的公共集群不同,专属集群用户可将整个集群的资源分配给某一个DTS实例进行使用。能够非常方便得将源库中大批量写入的数据实时同步到目的库,提升DTS实例的同步性能。

 

资源独享和稳定性强。DTS专属集群为客户提供了独立的资源空间,实现了与其他用户DTS实例资源的隔离,不受其他DTS实例的影响。让用户可以自主控制专属集群负载,加强业务稳定性。

 

成本低。相比于公共集群,用户无需额外支付DTS专属集群中的实例费用,只需要支付DTS专属集群的资源费用。

 

image.png

 

DTS支持结构迁移、全量数据迁移和增量数据迁移,可以实现在自建应用不停服的情况下,平滑地完成从自建MySQL数据库的迁移上云。该功能要求创建RDS MySQL实例,并使用符合要求的MySQL实例版本、存储空间等。

 

迁移时需要注意:

 

迁移会占用源和目标的资源,建议用户低峰操作。

 

若源端无主键唯一约束,目的端可能出现重复数据。

 

DTS会自动在RDS创建数据库。

 

失败的任务会自触发自动恢复。

 

在创建之前,源端和目的端都存在数据库账号。DTS连接源端和目的端数据库,对这些账号也有相应的要求。源端数据库以自建MySQL数据库举例,需要具有一定的结构迁移、全量迁移和增量迁移的权限,目的端实例需要具备读写权限。

 

 

在进行迁移时,结构迁移、全量数据迁移和增量数据迁移支持的迁移类型不同。结构迁移支持表、视图、触发器、存储过程等源数据;全量数据迁移支持将存量数据全部迁移到目标库上;增量数据迁移是通过读取源端binlog,将增量更新数据同步到目标数据库。

 

执行增量数据迁移还支持了一些同步DML和DDL操作,包括增、删、改以及对表、视图和索引等的操作。


接下篇:https://developer.aliyun.com/article/1224094?spm=a2c6h.13148508.setting.18.7b3f4f0efVOU75

 

相关文章
|
19天前
|
SQL 关系型数据库 MySQL
数据库开发之SQL简介以及DDL的详细解析
数据库开发之SQL简介以及DDL的详细解析
37 0
|
19天前
|
存储 运维 安全
2024.3.18隐语训练营第1讲笔记:数据可信流通,从运维信任到技术信任
数据二十条提出了要建立数据可信流通体系,使得数据可以安全的流转起来。但由于在数据流通中存在的各种风险,使得信任四要素全部遭到破坏,导致信任降级甚至崩塌。为了应对这些风险,要实现从运维信任到技术信任的转变,针对信任的各个要素,提出了解决方案。最后简要介绍了安全可信基础设施的融合布局。
57 3
|
19天前
|
运维 安全 关系型数据库
参加数据库管理工具DAS训练营,赢取国潮保温杯和阿里云定制双肩包!
本训练营带您简单了解数据库自治与云安全服务,数据库自治服务提供云上RDS、PolarDB、NoSQL、ADB等数据库7*24小时异常检测、SQL自优化、安全合规审计、弹性伸缩、数据自治、锁分析等亮点功能。一站式自动化、数字化DAS集成平台,助力您畅享DBA运维智能化。
|
19天前
|
SQL 监控 druid
Druid数据库连接池简介及应用推广(老项目翻出来做下记录)
Druid数据库连接池简介及应用推广(老项目翻出来做下记录)
|
19天前
|
关系型数据库 MySQL 数据库
阿里云rds数据库简介和如何使用
该内容是一个关于如何在阿里云上准备和使用MySQL数据库的教程。首先,你需要注册阿里云账号并购买阿里云数据库MySQL服务,选择合适的配置如地域、版本和存储类型。然后,通过DMS(Data Management Service)管理数据库,包括查看数据库实例、登录、切换数据库、创建数据库和数据库导出。此外,还介绍了如何使用MySQL Workbench或命令行工具连接到RDS MySQL实例。教程详细提供了每一步的链接和操作指南。
|
19天前
|
运维 安全 区块链
隐私计算训练营第一讲 :数据可信流通,从运维信任到技术信任
构建数据可信流通体系旨在解决数据流转中的安全和信任问题,确保来源可确认、使用范围界定、过程可追溯及风险可控。体系基于身份验证、利益对齐、预期能力和行为审计的技术要求,采用可信计算、区块链、隐私计算等技术,打造从原始到衍生数据的全程可信环境。密态计算技术成为关键,推动数据密态时代的到来,其中密态天空计算是重要的基础设施。
40 0
|
19天前
|
运维 安全 区块链
隐语训练营第1讲笔记:数据可信流通,从运维信任到技术信任
数据可信流通需要从运维信任转向技术信任,需要安全可信基础设施的融合布局。
42 1
|
19天前
|
SQL Oracle 关系型数据库
通用SQL数据库查询语句精华使用简介
通用SQL数据库查询语句精华使用简介
|
19天前
|
SQL 运维 数据库
数据库自治专家DAS在手,安心过春节!
春节期间,企业数据库可能面临的问题高发在稳定性、性能和安全性等方面,比如:会遭遇人手不足,IT支持可能会因运维工程师休假、交通通勤而受到限制,也会存在远端接入不方便、通信不畅通、处理不及时等问题。除此之外,大规模增长的商业活动促销和交易量波动增加,交易系统有可能凌晨依然存在高峰负载压力等问题,这对数据库性能是一场不小的考验,上述种种问题,都需要更精确的、更全方位的守护系统。通过DAS智能助手,能够实现7*24小时的守护,接触DBA焦虑,保障系统平稳有序运行。
367 2