阿里云——云数据库管理与数据迁移

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 阿里云——云数据库管理与数据迁移

一.云数据库的简介和使用场景

1.云数据库简介

云数据库基于云计算平台构建,克服了传统数据库引擎的局限性,是按使用量付费,稳定可靠、可弹性伸缩的在线数据库服务。无需购买软件和硬件,也无需专人维护IT基础设施。

云数据库能够让您在云中轻松设置、操作和扩展数据库。它在管理耗时的数据库管理任务的同时,可提供经济实用的可调容量,使您能够腾出时间专注于应用程序和业务。


2.云数据库的特点

  1. 按存储容量和算力需求付费
  2. 云的可移植性
  3. 按需扩展
  4. 高可用性(HA)


3.阿里云云数据库RDS介绍

云数据库(Relational Database Service,简称RDS)是一种稳定可靠,可弹性伸缩的在线数据库服务。基于飞天分布式系统和全SSD盘高性能存储,支持MySQL、SQL Server、PostgreSQL和MariaDB Tx擎,提供了容灾、备份、恢复、监控、迁移等方面的全套解决方案,帮助您解决数据库运维的烦恼。


4.云数据库MYSQL版

阿里云数据库MySQL版基于Alibaba的MySQL源码分支,经过双11高并发。大数据量的考验。

  1. 拥有优良的性能和吞吐量
  2. 经过优化的读写分商、数据压缩、智能调优等高级功能。

MySQL是全球最受欢迎的开源数据库。

作为开源软件组合LAMP(Linux+Apache +MySQL+Perl/PHP/Python)中的重要一环,广泛应用于各类应用

Web2.0时代,风黀全网的社区论坛软件系统 Discuz和博客平台 Wordpress均基于MySQL实现底层架构。

Web3.0时代,阿里巴巴、Facebook、Google等大型互联网公司都采用更为灵活的MySQL构建了成熟的大规模数据库集群。


5.云数据库与自建数据库对比


6.云数据库功能

安全性

安全前:

允许连接实例IP白名单

控制访问源

支持VPC


安全中:

支持SSL

杜绝中间人攻击

支持透明数据加密(TDE)

数据落盘自动加密


安全后:

RDS支持SQL审计功能,记录访问源


可用性:

主备架构:

两个实例位于不同服务器

自动同步数据

主实例不可以时,自动切换备实例


同城容灾:

在不同可用区部署主备实例

独立电力

网络环境提升数据可靠性


异地容灾:

用户可将异地备份,切换为主实例,保证业务可用性


可扩展性:

弹性扩展,100%资源利用率

可按需升级实例内存与磁盘空间大小

每个只读实例有单独连接地址

由应用端控制压力分配


易用性:

内外网同时连接 方便管理

自动备份 两年数据恢复 解决90%以上系统故障

自动监控预警,定期性能巡检


7.数据多样化存储

RDS支持搭配云数据库Memcache、云数据库Redis和对象存储OSS等存储产品使用,实需多样化存储扩展。


8.数据异地容灾

用户可通过DTS数据传输服务,将自建机房的数据库实时同步到阿里云云数据库上任一地域的RDS实例里面。


9.大数据分析场景

大数据计算服务(MaxCompute,原名ODPS)提供海量数据仓库的解决方案以及针对大数据的分析建模服务。

通过数据集成服务,可将RDS数据导入MaxCompute,实现大规模的数据计算。


二.云数据库MySQL版的基本概念

1.云数据库MySQL版产品

2.实例,数据库。账号

实例:

  1. 一个独立占用物理内存的数据库服务进程
  2. 用户可以设置不同的内存大小、磁盘空间和数据库类型,其中内实例存的规格会决定该实例的性能
  3. 实例创建后可以变更配置和删除实例。

数据库

  1. 在一个实例下创建的逻辑单元
  2. 一个实例可以创建多个数据库,MySQL类型实例普通权限账号可以500个,高权限账号建库数量不限
  3. 数据库在实例内的命名唯一

账号

  1. 每个数据库账号可以用于多个数据库
  2. 每个数据库的读写权限也可以被分配给多个数据库账号账号
  3. 一个实例可以创建多个普通账号,具体的数量与实例内核有关
  4. 一个实例中只能创建一个高权限账号

3.内外网地址

单独使用内外地址:

系统默认提供内网地址,您可以直接修改连接地址。

适用于应用部薯在与您的RDS实例在同一地域的ECS.上且RDS实例与ECS的网络类型相同时。


单独使用外网地址:

适用于应用部署在与您的RDS在不同地城的ECS上时。

适用于应用部著在网里公以外的系统上时。


同时使用内外网地址:

适用于应用部署中的模块同时部署在与您的RDS实例在同一地域且网络类型相同的ECS上和与您的RDS实例在不同地域或网络类型的ECS上时。

适用于应用部署中的模块同时部署在与您的RDS实例在同一地域且网络类

型相同的ECS上和啊里云以外的系统上时。


4.访问模式

标准模式

  1. 云数据库使用负载均衡屏蔽了数据库引擎HA切换对应用层的影响,缩短响应时间
  2. 但会小幅度增加连接闪断的概率,失去SQL拦截能力
  3. 该模式只支持一种连接地址,在实例同时有内网地址和外网地址的情况下,需先
  4. 释放内网地址或者外网地址后,才能切换到标准模式。

高安全模式

  1. 具有防止90%的连接闪断和SQL拦截的能力(基于SQL语义分析来实现防御SQL注入攻击)
  2. 但是会增加20%以上响应时间
  3. 该模式支持内外网地址并存。

5.白名单

  1. 为了数据库的安全稳定,将需要访问数据库的IP地址或者IP段加入白名单。
  2. 在启用目标实例前,需先修改白名单。
  3. MySQL每个实例最多可添加50个白名单分组、每个白名单分组最多添加1000个IP地址或IP段。
  4. 白名单功能支持设置IP地址或者IP段。
  5. %或者0.0.0.0/0为允许任何IP访问。该设置将极大降低数据库安全性

三.创建实例、数据库与账号

1.云数据库快速管理流程

2.云数据库实例创建步骤


四.SQL操作与数据导入导出

1.连接云数据库

MySQL客户端

在连接输入框中输入数据实例链接地址,端口(默认3306),数据库用户名和数据库密码后,点击确定即可

MySQL命令行

命令格式:mysql-u user_name-h,example.mysql.alibabalabs.com –P3306-pxoox,其中,u指定的是用户名,h指定的是主机名,-P指定的是端口,-p指定的是密码

DMS访问(阿里云)

数据管理服务(Data Management)支持MySQL、SQL Server、PostgreSQL、MongoDB、Redis等关系型数据库和NoSQL的数据库管理,同时还支持Linux服务器管理。


2.DMS优势

  1. 轻松拥有数据分析能力
  2. 极大提升研发效率
  3. 实时优化数据库性能
  4. 全面的访问安全保护
  5. 丰富的数据源支持

五.数据库迁移上云

1.什么是数据库迁移

数据库迁移上云旨在方便、快速的实现在各种数据库源之间的数据迁移,实现以下业务场景等:

  1. 线下自建数据库迁移到云数据库RDS
  2. 云上自建数据库迁移到云数据库RDS
  3. 阿里云内部跨实例RDS数据库迁移
  4. 从其他公共云数据库迁移到阿里云RDS

数据库迁上云移需要支持同异构数据库源之间的迁移

完善的数据库迁移还需要支持库列表三级映射、数据过滤多种ETL特性。


2.MySQL迁移工具

>通过传统数据库迁移工具数据到云数据库RDS

>通过数据传输服务(DTS)迁移数据到云数据库RDS

Mysqldump

主要用于对MySQL数据库的存储数据转存。它主要产生一个SQL脚本,其中包含从头重新创建数据库所必需的命令CREATE TABLE INSERT等。

PhpMyAdmin

PhpMyAdmin是以Web-Base方式架构在网站主机上的MySQL的数据库管理工具,让管理者可用Web接口管理MySQL数据库。使用其同步功能迁移MySQL数据库,可以实现单个数据表或整个数据库的同步。


3.数据传输服务DTS

数据传输服务(Data Transmission Service)DTS支持关系型数据库、NoSQL、大数据(OLAP)等数据源间的数据传输。它是一种集数据迁移、数据订阅及数据实时同步于一体的数据传输服务。

  1. 数据迁移
  2. 数据订阅
  3. 数据同步
  4. 完善的监控体系

DTS三种迁移模式

 


4.数据库上云迁移条件

创建RDS数据库

在数据迁移过程中,如果待迁移的数据库在目标RDS实例中不存在,那么DTS自动会创建

如下两种情况,需手动创建数据库

  1. ·数据库名称不符合RDS定义规范
  2. ·待迁移数据库,在源MySQL实例,跟目标RDS实例中名称不同

创建迁移账号

  1. 提供源实例及目标RDS实例的迁移账号
  2. 如没有以上账号需要分别创建
  3. 满足各种存储引擎具体需要的数据库权限

迁移步骤


六.云数据库运维常用设置

1.变更配置

如果当前实例配置无法满足应用的性能要求,或者当前实例的配置过高,您可以变更实例的配置。

变更配置生效期间,服务可能会出现1次30秒内的闪断。

2.设置参数

RDS允许用户自定义部分实例参数

设置云数据库参数方法和本地数据库参数设置方法基本类似。

部分参数修改后需要重启实例

3.迁移可用区

RDS实例支持单可用区和多可用区的选择,多可用区实例可以承受更高级别的灾难。

实例迁移可用区,是将实例数据复制到新可用区的过程,所以是实例级别的迁移,迁移可用区后,实例的所有属性和配置都不会发生改变。

4.切换主备实例

采用热备架构,物理服务器出现故障后服务秒级完成切换。整个切换过程对应用透明。

主备实例切换可能会有闪断,需应用程序具有重连机制。

5.数据复制方式

用户可以根据自身业务特点,选择不同的数据复制方式,提高云数据库可用性。

 


创作不易,求关注,点赞,收藏,谢谢~

相关实践学习
2分钟自动化部署人生模拟器
本场景将带你借助云效流水线Flow实现人生模拟器小游戏的自动化部署
7天玩转云服务器
云服务器ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,可降低 IT 成本,提升运维效率。本课程手把手带你了解ECS、掌握基本操作、动手实操快照管理、镜像管理等。了解产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
2月前
|
缓存 弹性计算 NoSQL
新一期陪跑班开课啦!阿里云专家手把手带你体验高并发下利用云数据库缓存实现极速响应
新一期陪跑班开课啦!阿里云专家手把手带你体验高并发下利用云数据库缓存实现极速响应
|
2月前
|
安全 NoSQL 关系型数据库
阿里云数据库:助力企业数字化转型的强大引擎
阿里云数据库:助力企业数字化转型的强大引擎
|
2月前
|
存储 NoSQL MongoDB
基于阿里云数据库MongoDB版,微财数科“又快又稳”服务超7000万客户
选择MongoDB主要基于其灵活的数据模型、高性能、高可用性、可扩展性、安全性和强大的分析能力。
|
2月前
|
人工智能 Cloud Native 关系型数据库
阿里云关系型数据库连续五年蝉联榜首
全球领先的IT市场研究和咨询公司IDC发布了《2023年下半年中国关系型数据库软件市场跟踪报告》,2023年阿里云整体市场份额(公有云+本地部署模式)稳居第一,其中公有云市场份额高达39.2%,自2019年起连续5年蝉联榜首。
|
2月前
|
安全 NoSQL 关系型数据库
阿里云数据库:构建高性能与安全的数据管理系统
在企业数字化转型过程中,数据库是支撑企业业务运转的核心。随着数据量的急剧增长和数据处理需求的不断增加,企业需要一个既能提供高性能又能保障数据安全的数据库解决方案。阿里云数据库产品为企业提供了一站式的数据管理服务,涵盖关系型、非关系型、内存数据库等多种类型,帮助企业构建高效的数据基础设施。
72 2
|
2月前
|
存储 分布式计算 数据库
阿里云国际版设置数据库云分析工作负载的 ClickHouse 版
阿里云国际版设置数据库云分析工作负载的 ClickHouse 版
|
2月前
|
存储 NoSQL MongoDB
小川科技携手阿里云数据库MongoDB:数据赋能企业构建年轻娱乐生态
基于MongoDB灵活模式的特性,小川实现了功能的快速迭代和上线,而数据库侧无需任何更改
|
2月前
|
运维 NoSQL BI
简道云搭载阿里云MongoDB数据库,帮助数以万计企业重构业务系统
通过与MongoDB和阿里云团队的合作,让简道云少走了弯路,保障了线上服务的长期稳定运行,提高了吞吐效率,并相应降低了线上运行成本
|
2月前
|
NoSQL 数据管理 关系型数据库
利用阿里云的尖端数据库解决方案增强游戏数据管理
利用阿里云的尖端数据库解决方案增强游戏数据管理
|
3月前
|
存储 监控 数据挖掘
飞轮科技携手观测云亮相云栖大会,全方位展示阿里云数据库 SelectDB 版核心优势
飞轮科技技术副总裁姜国强于「数据分析与洞察」专场分享[阿里云数据库 SelectDB 版在日志存储分析、实时报表生成、用户行为分析及 Lakehouse 场景应用方案
飞轮科技携手观测云亮相云栖大会,全方位展示阿里云数据库 SelectDB 版核心优势