平滑快速又安全!这才是数据库上云的Cool姿势

本文涉及的产品
数据传输服务 DTS,数据迁移 small 3个月
推荐场景:
MySQL数据库上云
数据传输服务 DTS,数据同步 small 3个月
推荐场景:
数据库上云
云原生数据库 PolarDB MySQL 版,通用型 2核8GB 50GB
简介: 越来越多的企业正将业务系统迁移到云上,享受云计算带来的服务变革,如高性能计算、弹性扩展资源、一站式运维服务等,大大降低企业的使用成本和维护成本。市场研究机构IDC的报告数据印证了这一点:中国服务器出货量出现10年来首次下滑,企业快速迁移上云是背后主要诱因。

640.gif

德意志银行的分析报告称,中国84%的企业有意愿上云,认为云是未来。

越来越多的企业正将业务系统迁移到云上,享受云计算带来的服务变革,如高性能计算、弹性扩展资源、一站式运维服务等,大大降低企业的使用成本和维护成本。

市场研究机构IDC的报告数据印证了这一点:中国服务器出货量出现10年来首次下滑,企业快速迁移上云是背后主要诱因。

image.png

而对上云企业而言,最关键的一步是保障数据库高效可靠地迁移。因为数据库承载着企业核心业务,但传统的数据库迁移工具要求数据库在迁移中必须停服,极大影响业务。

image.png

早在2015年,我们就深知上云企业的痛点,发布了数据传输服务DTS (Data Transmission Service),如果企业采用DTS,数据库在迁移过程中依然可以正常提供服务。

目前,DTS可支持多达18种数据源,已完成约40万个数据库上云。

迁移数据库上云,DTS有哪些技术亮点?

DTS支持关系型数据库、NoSQL、大数据(OLAP)、搜索引擎及消息队列等数据源间的数据传输,是一种集数据迁移、数据订阅及数据实时同步于一体的数据传输服务,能够帮助企业实现:

image.png

经过多年技术积累及应用实践,DTS沉淀了诸多优势,能帮助数据库更平滑、安全、快速地搬迁上云。部分场景下,迁移性能可达100Mb/S:

1、平滑迁移

非侵入式数据实时采集:基于数据库日志监听解析的技术,DTS实现非侵入式的增量数据实时采集,实现数据库零停机上云迁移。

断点续传:当数据源、网络或者DTS节点发生异常故障时,支持完善的断点续传机制。故障恢复后,会断点续传未同步数据,避免全量数据重新同步,有效提升上云效率。

2、快速迁移

分布式并发架构:采用分布式智能并发模式,根据数据库数据量自动评估并调度多个服务节点并发处理数据流,有效突破单机极限,水平扩展系统吞吐量。

智能分片:对数据库中待迁移表采用多种智能分片策略,实现表内并发迁移,保证数据传输的并行能力并有效解决数据库写入放大问题。

并行抓取:解耦数据抓取及数据写入模块,实现数据抓取及数据写入的全并行,极大提高系统整体吞吐能力。

3、安全迁移

容灾守护:具备完善的容灾守护机制,会自动守护所有传输任务,一旦出现任务异常,自动进行容灾切换,快速恢复任务。同时,所有模块采用高可用架构,一旦任一节点发生故障,容灾系统就将故障节点的任务秒级恢复到正常节点。

数据隔离:实现不同任务在计算和存储资源上的完全隔离,保证不同用户间的数据相互隔离,有效提升数据的安全性。同时,支持数据库的安全连接协议SSL,进一步提升数据传输安全。

40万个数据库上云,DTS已成上云标配

目前DTS已成为企业数据库上云必备的数据迁移工具,服务的企业客户遍布各行各业。

例 如

「echo回声」app备受年轻人喜爱,也是全球最大的3D音乐平台。「echo回声」app原本通过50多个数据库实例支撑app和web的日常业务,但随着数据量增长,数据库实例的管理成本越来越大,性能也越来越难以满足业务需求。

阿里云提供ECS+Redis+RDS的组合方案,基于DTS增量日志解析技术,实现「echo回声」数据库不停机在线迁移,所有业务在2小时内迁移完成,核心业务在半小时内切换;基于DTS多对一的迁移能力,对数据库实例进行合并,从迁移前的50个实例整合为20个,大大降低使用和管理成本。

十年磨一剑,阿里云数据库厚积薄发

image.png

2011年,阿里巴巴就开始投入DTS研发。

而阿里巴巴对数据库的研发投入更是由来已久,早在十年前,阿里巴巴就遇到了数据规模的压力,开始尝试用分布式数据库替代传统数据库,并在全球率先提出去IOE。如今这一理念已被全球企业广泛采纳。

阿里巴巴集团内部已经大规模采用云数据库。2018年天猫双11,阿里云数据库成功应对了100倍的日常压力,支撑起2135亿的总交易额。

除了核心生态产品DTS,阿里云还拥有国内最强大和丰富的数据库产品家族,涵盖了关系型数据库、非关系型数据库、分析型数据库以及生态工具满足用户不同的数据库应用场景。

阿里云数据库正引领多个前沿技术领域,解决企业核心业务上云的关键难题:

云原生数据库技术:POLARDB通过IO路径旁路化、创新的一致性协议、物理复制等技术,实现了领先的云原生数据库能力,性价比是传统数据库的10倍。

智能化数据库技术:DBaaS平台具体多方面的自动化能力,基于人工智能技术,实现了参数自调优、内存使用自调优、故障自处理等。

数据库安全技术:国内首家提供BYOK的云数据库服务商,从用户连接、数据传输,到数据存储,提供了完整的全链路加密。

分析数据库技术:AnalyticDB是最快的实时分析数据库,在全球权威分析型基准测试TPC-DS榜单中位列第一名。


POLARDB是由阿里云研发、国内首个云原生数据库,采用存储计算分离、软硬一体化的创新设计,具备快速弹性能力、超大规格、超高可靠性以及两倍于AWS Aurora的性能。

目前,已支持企业将线下的MySQL、PostgreSQL和Oracle等数据库轻松迁移至POLARDB,最快数小时就可以迁移完成。

相关研究成果多次入选国际数据库顶会

在今年的ACM SIGMOD上,POLARDB相关论文入选,阐述面向大规模流量场景设计的自研存储引擎X-Engine,突破传统数据架构的局限,采用分层存储的全新理念,可以根据数据访问频度将数据合理归位,实现快存快取。

相关阅读:一条数据的漫游——X-Engine SIGMOD论文详解

相关实践学习
部署高可用架构
本场景主要介绍如何使用云服务器ECS、负载均衡SLB、云数据库RDS和数据传输服务产品来部署多可用区高可用架构。
Sqoop 企业级大数据迁移方案实战
Sqoop是一个用于在Hadoop和关系数据库服务器之间传输数据的工具。它用于从关系数据库(如MySQL,Oracle)导入数据到Hadoop HDFS,并从Hadoop文件系统导出到关系数据库。 本课程主要讲解了Sqoop的设计思想及原理、部署安装及配置、详细具体的使用方法技巧与实操案例、企业级任务管理等。结合日常工作实践,培养解决实际问题的能力。本课程由黑马程序员提供。
相关文章
|
3月前
|
SQL 弹性计算 安全
【上云基础系列04】基于标准架构的数据库升级
本文回顾了业务上云从基础到进阶的理念,涵盖基础版和全栈版架构。在“入门级:上云标准弹性架构基础版”的基础上,本文针对数据库升级,重点介绍了高可用数据库架构的升级方案,确保数据安全和业务连续性。最后,附有详细的“上云标准弹性架构”演进说明,帮助用户选择合适的架构方案。
|
9月前
|
关系型数据库 MySQL 数据库
RDS MySQL灾备服务协同解决方案构建问题之数据库备份数据的云上云下迁移如何解决
RDS MySQL灾备服务协同解决方案构建问题之数据库备份数据的云上云下迁移如何解决
|
5月前
|
Cloud Native 关系型数据库 分布式数据库
PolarDB 分布式版 V2.0,安全可靠的集中分布式一体化数据库管理软件
阿里云PolarDB数据库管理软件(分布式版)V2.0 ,安全可靠的集中分布式一体化数据库管理软件。
|
6月前
|
SQL 安全 Java
MyBatis-Plus条件构造器:构建安全、高效的数据库查询
MyBatis-Plus 提供了一套强大的条件构造器(Wrapper),用于构建复杂的数据库查询条件。Wrapper 类允许开发者以链式调用的方式构造查询条件,无需编写繁琐的 SQL 语句,从而提高开发效率并减少 SQL 注入的风险。
127 2
MyBatis-Plus条件构造器:构建安全、高效的数据库查询
|
7月前
|
安全 NoSQL 关系型数据库
阿里云数据库:构建高性能与安全的数据管理系统
在企业数字化转型过程中,数据库是支撑企业业务运转的核心。随着数据量的急剧增长和数据处理需求的不断增加,企业需要一个既能提供高性能又能保障数据安全的数据库解决方案。阿里云数据库产品为企业提供了一站式的数据管理服务,涵盖关系型、非关系型、内存数据库等多种类型,帮助企业构建高效的数据基础设施。
336 2
|
9月前
|
关系型数据库 分布式数据库 数据库
安全可靠的国产自研数据库PolarDB V2.0,让数据库开发像“搭积木”一样简单!
安全可靠的国产自研数据库PolarDB V2.0,让数据库开发像“搭积木”一样简单!
安全可靠的国产自研数据库PolarDB V2.0,让数据库开发像“搭积木”一样简单!
|
9月前
|
安全 关系型数据库 数据库
FastAPI数据库操作秘籍:如何通过高效且安全的数据库访问策略,使你的Web应用飞速运转并保持数据完整性?
【8月更文挑战第31天】在构建现代Web应用时,数据库操作至关重要。FastAPI不仅简化了API创建,还提供了高效数据库交互的方法。本文探讨如何在FastAPI中实现快速、安全的数据处理。FastAPI支持多种数据库,如SQLite、PostgreSQL和MySQL;选择合适的数据库可显著提升性能。通过安装相应驱动并配置连接参数,结合ORM库(如Tortoise-ORM或SQLAlchemy),可以简化数据库操作。使用索引、批量操作及异步处理等最佳实践可进一步提高效率。同时,确保使用参数化查询防止SQL注入,并从环境变量中读取敏感信息以增强安全性。
461 1
|
9月前
|
存储 安全 关系型数据库
"揭秘!如何设计数据库架构,让信息系统心脏强健无比?一场关于数据效率、安全与可扩展性的深度探索"
【8月更文挑战第19天】数据库架构是信息系统的核心,关乎数据存储效率与安全及应用性能和扩展性。优秀设计需综合考量业务需求、数据模型选择、查询优化、事务处理、安全性和扩展性。首先,深刻理解业务需求,如电商系统需高效处理并增长商品、订单等数据。其次,基于需求选择合适的数据模型,如关系型或非关系型数据库。再者,优化查询性能与索引策略以平衡读写负载。同时,考虑事务处理和并发控制以保证数据一致性和完整性。最后,加强安全性措施和备份恢复策略以防数据风险。通过这些步骤,可以构建稳健高效的数据库架构,支持系统的稳定运行。
117 0
|
10月前
|
数据可视化 安全 API
数据库开放权限风险高,API非唯一选择:DataV为您开启安全高效的数据可视化之旅
良好的用户体验:DataV注重用户体验设计,提供了丰富的交互效果和动画效果,使得数据可视化大屏更加生动、吸引人。这有助于提升用户的参与度和满意度,促进数据的广泛应用
|
10月前
|
存储 监控 安全
安全规范问题之跟数据库交互涉及的敏感数据操作需要有哪些措施
安全规范问题之跟数据库交互涉及的敏感数据操作需要有哪些措施

热门文章

最新文章