MySQL表结构同步

本文涉及的产品
云数据库 RDS SQL Server,独享型 2核4GB
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介:

   现在全身心投入到MySQL中。

     项目要求:将开发环境中的数据库的修改同步至线上环境。

     开发者给出的解决办法是:利用像Python 中的South框架,自动将开发环境的变更同步至生产环境。这个对于DBA来说是无法承受的(除非是创建数据库结果类似的语句)。数据库变更在生产环境执行,必须事先经过评估。对业务的影响降到最低,这个就设计到了重新设计索引,或者采用在线修改工具之类的。本文暂时先不讨论,下面给出表同步的解决办法。

     以前的做法是通过navicate的工具将一个一个的数据库进行对比或者自己写脚本Mysqldump 只dump 表结构,利用diff 挨个对比,在数据库实例量少的情况下,可以接受。总之个人认为 不符合运维自动化的理念。

     最近尝试了一种新的工具-Schema Sync,这个是基于Python语言,遵守Apache License, Version 2.0. 开源协议。

     描述信息:

      1、该工具不会修改数据库,至会搜集在不同数据库之间的差异并生成SQL脚本。

      2、生成的SQL语句,会自动添加after,first 等关键字

      3、对于重命名的表或者字段,该工具生成先删除在重建的SQL语句

      4、对于MySQL的分区功能暂不支持。

     下载并安装:

     安装条件:

      1、Python 2.4, 2.5, or 2.6

       2、MySQL, version 5.0 or higher

       3、MySQLdb, version 1.2.1p2 or higher

     下载: SchemaSync-0.9.2

     安装:

       tar xvzf SchemaSync-0.9.2.tar.gz
      cd SchemaSync-0.9.2 
      sudo python setup.py install

     如果想得到最新的开发版本,或者在生产环境中不允许root 登录,请参考这个链接:http://schemasync.org/install.htm

     基本语法:

      schemasync [options] <source> <target>

     source或者target的格式是:

      mysql://user:password@host:port/database

     最终生成文件的格式是:<database>[_<tag>].YYYYMMDD.(patch|revert)[_<version>].sql,有一个日志文件

     一个patch文件(应用到目标主机),一个revert文件(可以做回滚,这个做法是很棒的,个人很赞同,但作为DBA,最好在操作前对线上的数据库做好备份)

     具体选项,可以通过  schemasync  --help 查看

     常用选项:

                  -output-directory=OUTPUT_DIRECTORY 日志文件和生成的SQL文件存放的目录
                  --tag=TAG 为自己的文件打上容易辨认的便签
                  -r, --revision 如果生成的结果文件中存在相同的名字,则会另加标示。
                  -a, --sync-auto-inc 这个选项要注意,他会同步自增长的值
                  -c  --sync-comments 同步新添加字段的内容  描述(经测试该选项无效)

       测试:

       在192.168.1.172上有一数据库sync 库内的表:t1(id int null)

       在192.168.1.175上有一数据库sync 库内的表:t1(id int not null)

       现在将172中的sync库同步至175上:

       schemasync  -r --output-dir="/root/sync/"  mysql://root:XXXX@localhost:3306/sync  mysql://root:XXXXX@192.168.1.175:3307/sync

       打印出的消息:

[INFO  2012-07-13 18:21:49,784] Migration scripts created for mysql://192.168.1.175/sync
Patch Script: /root/sync/sync.20120713.patch.sql
Revert Script: /root/sync/sync.20120713.revert.sql

     我们可以打开文件查看下:

      USE `sync`;
      ALTER TABLE `t1` MODIFY COLUMN `id` int(11) NULL FIRST, ENGINE=InnoDB ROW_FORMAT=Compact;

      这个文件已经将id列 的非空属性设置为空。将这个文件应用到175上即可。!

(PS:此为简单测试。在生成环境下,可以用shell循环同时同步多个库,对于DBA来说,最好在应用更改之前,必须审核一下该SQL,评估下对线上的影响,考虑在线DDL等工具)

     官方地址:http://schemasync.org/






本文转自 位鹏飞 51CTO博客,原文链接http://blog.51cto.com/weipengfei/930142,如需转载请自行联系原作者

相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
2月前
|
关系型数据库 MySQL API
|
2月前
|
关系型数据库 MySQL 流计算
Flink CDC 3.0中,如果你想在同步MySQL数据时排除某列
Flink CDC 3.0中,如果你想在同步MySQL数据时排除某列
36 1
|
3月前
|
SQL 关系型数据库 MySQL
使用CTAS 把mysql 表同步数据 到hologres ,Flink有什么参数可以使hologres 的字段都小写吗?
使用CTAS 把mysql 表同步数据 到hologres ,Flink有什么参数可以使hologres 的字段都小写吗?
265 0
|
3月前
|
SQL 关系型数据库 MySQL
使用Flink CDC从SQL Server同步数据到MySQL
使用Flink CDC从SQL Server同步数据到MySQL
110 1
|
24天前
|
存储 关系型数据库 MySQL
MySQL技能完整学习列表5、数据库操作——1、创建数据库和表——2、修改表结构(ALTER TABLE)
MySQL技能完整学习列表5、数据库操作——1、创建数据库和表——2、修改表结构(ALTER TABLE)
128 0
|
27天前
|
SQL 分布式计算 关系型数据库
Dataphin实现MaxCompute外表数据快速批量同步至ADB MySQL
当前大数据时代背景下,企业对数据的处理、分析和实时应用的需求日益增强。阿里云MaxCompute广泛应用于海量数据的ETL、数据分析等场景,但在将处理后的数据进一步同步至在线数据库系统,如ADB MySQL 3.0(阿里云自研的新一代云原生关系型数据库MySQL版)以支持实时查询、业务决策等需求时,可能会遇到数据迁移速度缓慢的问题。 DataphinV3.14版本支持外表导入SQL的带参调度,实现通过MaxCompute外表的方式将数据批量同步至ADB MySQL 3.0中,显著提升数据迁移的速度和效率。
|
2月前
|
DataWorks NoSQL 关系型数据库
可以使用dataworks从tablestore同步数据到mysql吗?
可以使用dataworks从tablestore同步数据到mysql吗?
22 1
|
2月前
|
关系型数据库 MySQL 数据库
使用Flink同步MySQL到doris数据库中,时间格式异常
当我完成同步时,我发现Doris数据库中的所有时间格式都变为了如此:1970-02-01 11:00:00.000000,在所有时间格式后面追加了一个点和6个零,这是怎样造成的,该如何解决这个问题
|
3月前
|
消息中间件 关系型数据库 MySQL
在kafka connect 同步 mysql 主从数据库
在kafka connect 同步 mysql 主从数据库
27 0
|
3月前
|
存储 SQL NoSQL
[MySQL binlog实战] 增量同步与数据搜索~从入门到精通
[MySQL binlog实战] 增量同步与数据搜索~从入门到精通