平滑快速又安全!这才是数据库上云的Cool姿势

本文涉及的产品
云原生数据库 PolarDB MySQL 版,Serverless 5000PCU 100GB
数据传输服务 DTS,数据迁移 small 3个月
推荐场景:
MySQL数据库上云
简介: 越来越多的企业正将业务系统迁移到云上,享受云计算带来的服务变革,如高性能计算、弹性扩展资源、一站式运维服务等,大大降低企业的使用成本和维护成本。市场研究机构IDC的报告数据印证了这一点:中国服务器出货量出现10年来首次下滑,企业快速迁移上云是背后主要诱因。

640.gif

德意志银行的分析报告称,中国84%的企业有意愿上云,认为云是未来。

越来越多的企业正将业务系统迁移到云上,享受云计算带来的服务变革,如高性能计算、弹性扩展资源、一站式运维服务等,大大降低企业的使用成本和维护成本。

市场研究机构IDC的报告数据印证了这一点:中国服务器出货量出现10年来首次下滑,企业快速迁移上云是背后主要诱因。

image.png

而对上云企业而言,最关键的一步是保障数据库高效可靠地迁移。因为数据库承载着企业核心业务,但传统的数据库迁移工具要求数据库在迁移中必须停服,极大影响业务。

image.png

早在2015年,我们就深知上云企业的痛点,发布了数据传输服务DTS (Data Transmission Service),如果企业采用DTS,数据库在迁移过程中依然可以正常提供服务。

目前,DTS可支持多达18种数据源,已完成约40万个数据库上云。

迁移数据库上云,DTS有哪些技术亮点?

DTS支持关系型数据库、NoSQL、大数据(OLAP)、搜索引擎及消息队列等数据源间的数据传输,是一种集数据迁移、数据订阅及数据实时同步于一体的数据传输服务,能够帮助企业实现:

image.png

经过多年技术积累及应用实践,DTS沉淀了诸多优势,能帮助数据库更平滑、安全、快速地搬迁上云。部分场景下,迁移性能可达100Mb/S:

1、平滑迁移

非侵入式数据实时采集:基于数据库日志监听解析的技术,DTS实现非侵入式的增量数据实时采集,实现数据库零停机上云迁移。

断点续传:当数据源、网络或者DTS节点发生异常故障时,支持完善的断点续传机制。故障恢复后,会断点续传未同步数据,避免全量数据重新同步,有效提升上云效率。

2、快速迁移

分布式并发架构:采用分布式智能并发模式,根据数据库数据量自动评估并调度多个服务节点并发处理数据流,有效突破单机极限,水平扩展系统吞吐量。

智能分片:对数据库中待迁移表采用多种智能分片策略,实现表内并发迁移,保证数据传输的并行能力并有效解决数据库写入放大问题。

并行抓取:解耦数据抓取及数据写入模块,实现数据抓取及数据写入的全并行,极大提高系统整体吞吐能力。

3、安全迁移

容灾守护:具备完善的容灾守护机制,会自动守护所有传输任务,一旦出现任务异常,自动进行容灾切换,快速恢复任务。同时,所有模块采用高可用架构,一旦任一节点发生故障,容灾系统就将故障节点的任务秒级恢复到正常节点。

数据隔离:实现不同任务在计算和存储资源上的完全隔离,保证不同用户间的数据相互隔离,有效提升数据的安全性。同时,支持数据库的安全连接协议SSL,进一步提升数据传输安全。

40万个数据库上云,DTS已成上云标配

目前DTS已成为企业数据库上云必备的数据迁移工具,服务的企业客户遍布各行各业。

例 如

「echo回声」app备受年轻人喜爱,也是全球最大的3D音乐平台。「echo回声」app原本通过50多个数据库实例支撑app和web的日常业务,但随着数据量增长,数据库实例的管理成本越来越大,性能也越来越难以满足业务需求。

阿里云提供ECS+Redis+RDS的组合方案,基于DTS增量日志解析技术,实现「echo回声」数据库不停机在线迁移,所有业务在2小时内迁移完成,核心业务在半小时内切换;基于DTS多对一的迁移能力,对数据库实例进行合并,从迁移前的50个实例整合为20个,大大降低使用和管理成本。

十年磨一剑,阿里云数据库厚积薄发

image.png

2011年,阿里巴巴就开始投入DTS研发。

而阿里巴巴对数据库的研发投入更是由来已久,早在十年前,阿里巴巴就遇到了数据规模的压力,开始尝试用分布式数据库替代传统数据库,并在全球率先提出去IOE。如今这一理念已被全球企业广泛采纳。

阿里巴巴集团内部已经大规模采用云数据库。2018年天猫双11,阿里云数据库成功应对了100倍的日常压力,支撑起2135亿的总交易额。

除了核心生态产品DTS,阿里云还拥有国内最强大和丰富的数据库产品家族,涵盖了关系型数据库、非关系型数据库、分析型数据库以及生态工具满足用户不同的数据库应用场景。

阿里云数据库正引领多个前沿技术领域,解决企业核心业务上云的关键难题:

云原生数据库技术:POLARDB通过IO路径旁路化、创新的一致性协议、物理复制等技术,实现了领先的云原生数据库能力,性价比是传统数据库的10倍。

智能化数据库技术:DBaaS平台具体多方面的自动化能力,基于人工智能技术,实现了参数自调优、内存使用自调优、故障自处理等。

数据库安全技术:国内首家提供BYOK的云数据库服务商,从用户连接、数据传输,到数据存储,提供了完整的全链路加密。

分析数据库技术:AnalyticDB是最快的实时分析数据库,在全球权威分析型基准测试TPC-DS榜单中位列第一名。


POLARDB是由阿里云研发、国内首个云原生数据库,采用存储计算分离、软硬一体化的创新设计,具备快速弹性能力、超大规格、超高可靠性以及两倍于AWS Aurora的性能。

目前,已支持企业将线下的MySQL、PostgreSQL和Oracle等数据库轻松迁移至POLARDB,最快数小时就可以迁移完成。

相关研究成果多次入选国际数据库顶会

在今年的ACM SIGMOD上,POLARDB相关论文入选,阐述面向大规模流量场景设计的自研存储引擎X-Engine,突破传统数据架构的局限,采用分层存储的全新理念,可以根据数据访问频度将数据合理归位,实现快存快取。

相关阅读:一条数据的漫游——X-Engine SIGMOD论文详解

相关实践学习
RocketMQ一站式入门使用
从源码编译、部署broker、部署namesrv,使用java客户端首发消息等一站式入门RocketMQ。
Sqoop 企业级大数据迁移方案实战
Sqoop是一个用于在Hadoop和关系数据库服务器之间传输数据的工具。它用于从关系数据库(如MySQL,Oracle)导入数据到Hadoop HDFS,并从Hadoop文件系统导出到关系数据库。 本课程主要讲解了Sqoop的设计思想及原理、部署安装及配置、详细具体的使用方法技巧与实操案例、企业级任务管理等。结合日常工作实践,培养解决实际问题的能力。本课程由黑马程序员提供。
相关文章
|
2月前
|
存储 监控 安全
360 企业安全浏览器基于阿里云数据库 SelectDB 版内核 Apache Doris 的数据架构升级实践
为了提供更好的日志数据服务,360 企业安全浏览器设计了统一运维管理平台,并引入 Apache Doris 替代了 Elasticsearch,实现日志检索与报表分析架构的统一,同时依赖 Doris 优异性能,聚合分析效率呈数量级提升、存储成本下降 60%....为日志数据的可视化和价值发挥提供了坚实的基础。
360 企业安全浏览器基于阿里云数据库 SelectDB 版内核 Apache Doris 的数据架构升级实践
|
2月前
|
运维 安全 关系型数据库
数据库自治与安全服务训练营火热开营!完成任务可得国潮保温杯和阿里云定制双肩包!
本训练营带您简单了解数据库自治与云安全服务,数据库自治服务提供云上RDS、PolarDB、NoSQL、ADB等数据库7*24小时异常检测、SQL自优化、安全合规审计、弹性伸缩、数据自治、锁分析等亮点功能。一站式自动化、数字化DAS集成平台,助力您畅享DBA运维智能化。
|
3月前
|
关系型数据库 MySQL 分布式数据库
横琴人寿引入阿里云PolarDB云数据库支撑寿险核心业务上云
横琴人寿近年来启动了数字化转型,IT基础设施云化是转型的一个重要方向,数据库的云原生化是其中的核心工作之一,选型过程中重点考察了阿里云PolarDB MySQL数据库,三层解耦、极致弹性、100%兼容、高性价比等方面表现突出,在后续使用过程中对寿险的核心业务上云起到了很重要的作用。
|
7月前
|
关系型数据库 MySQL 数据库
自建MySQL 5.7数据库备份上云
本场景介绍用户从OSS拉取数据库备份文件,并导入到RDS备份管理仓库,RDS会对导入后的备份文件进行校验,并生成一个云盘快照,通过该快照可以在3-5分钟内快速拉起RDS实例,实现准实时灾备响应。
233 0
|
3月前
|
NoSQL 安全 MongoDB
|
4月前
|
SQL 存储 安全
CloudQuery一体化数据库SQL操作安全管控平台
CloudQuery一体化数据库SQL操作安全管控平台
184 0
|
4月前
|
SQL 运维 安全
让数据库运维审计安全无死角
是谁修改了我的数据,动了我那些数据? 什么时候操作的?都有那些资产被修改了? 登录和修改得到批准了吗?如何获取到这个权限账号的?
50 0
|
5月前
|
存储 监控 安全
奇安信基于阿里云数据库 SelectDB 版内核 Apache Doris 升级日志安全分析系统,查询平均提速 700%
Apache Doris 助力奇安信建设全新日志存储分析平台,提升系统安全性与快速响应能力!
奇安信基于阿里云数据库 SelectDB 版内核 Apache Doris 升级日志安全分析系统,查询平均提速 700%
|
7月前
|
前端开发 关系型数据库 MySQL
自建MySQL 5.7数据库备份上云
本场景介绍用户从OSS拉取数据库备份文件,并导入到RDS备份管理仓库,RDS会对导入后的备份文件进行校验,并生成一个云盘快照,通过该快照可以在3-5分钟内快速拉起RDS实例,实现准实时灾备响应。
194 0
|
8月前
|
SQL 存储 安全
PHPMySQL防注入 如何使用安全的函数保护数据库
在进行PHP编程开发时,安全性一直是开发人员必须注意的问题,其中最重要的是防止SQL注入攻击。SQL注入攻击是指通过输入恶意代码来攻击数据库的一种方式,攻击者通过输入SQL语句来绕过程序的安全机制,达到控制和操作数据库的目的。为了避免这种安全问题的发生,本文将介绍如何使用安全的函数保护数据库。
52 0