MySQL表结构同步

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介:

   现在全身心投入到MySQL中。

     项目要求:将开发环境中的数据库的修改同步至线上环境。

     开发者给出的解决办法是:利用像Python 中的South框架,自动将开发环境的变更同步至生产环境。这个对于DBA来说是无法承受的(除非是创建数据库结果类似的语句)。数据库变更在生产环境执行,必须事先经过评估。对业务的影响降到最低,这个就设计到了重新设计索引,或者采用在线修改工具之类的。本文暂时先不讨论,下面给出表同步的解决办法。

     以前的做法是通过navicate的工具将一个一个的数据库进行对比或者自己写脚本Mysqldump 只dump 表结构,利用diff 挨个对比,在数据库实例量少的情况下,可以接受。总之个人认为 不符合运维自动化的理念。

     最近尝试了一种新的工具-Schema Sync,这个是基于Python语言,遵守Apache License, Version 2.0. 开源协议。

     描述信息:

      1、该工具不会修改数据库,至会搜集在不同数据库之间的差异并生成SQL脚本。

      2、生成的SQL语句,会自动添加after,first 等关键字

      3、对于重命名的表或者字段,该工具生成先删除在重建的SQL语句

      4、对于MySQL的分区功能暂不支持。

     下载并安装:

     安装条件:

      1、Python 2.4, 2.5, or 2.6

       2、MySQL, version 5.0 or higher

       3、MySQLdb, version 1.2.1p2 or higher

     下载: SchemaSync-0.9.2

     安装:

       tar xvzf SchemaSync-0.9.2.tar.gz
      cd SchemaSync-0.9.2 
      sudo python setup.py install

     如果想得到最新的开发版本,或者在生产环境中不允许root 登录,请参考这个链接:http://schemasync.org/install.htm

     基本语法:

      schemasync [options] <source> <target>

     source或者target的格式是:

      mysql://user:password@host:port/database

     最终生成文件的格式是:<database>[_<tag>].YYYYMMDD.(patch|revert)[_<version>].sql,有一个日志文件

     一个patch文件(应用到目标主机),一个revert文件(可以做回滚,这个做法是很棒的,个人很赞同,但作为DBA,最好在操作前对线上的数据库做好备份)

     具体选项,可以通过  schemasync  --help 查看

     常用选项:

                  -output-directory=OUTPUT_DIRECTORY 日志文件和生成的SQL文件存放的目录
                  --tag=TAG 为自己的文件打上容易辨认的便签
                  -r, --revision 如果生成的结果文件中存在相同的名字,则会另加标示。
                  -a, --sync-auto-inc 这个选项要注意,他会同步自增长的值
                  -c  --sync-comments 同步新添加字段的内容  描述(经测试该选项无效)

       测试:

       在192.168.1.172上有一数据库sync 库内的表:t1(id int null)

       在192.168.1.175上有一数据库sync 库内的表:t1(id int not null)

       现在将172中的sync库同步至175上:

       schemasync  -r --output-dir="/root/sync/"  mysql://root:XXXX@localhost:3306/sync  mysql://root:XXXXX@192.168.1.175:3307/sync

       打印出的消息:

[INFO  2012-07-13 18:21:49,784] Migration scripts created for mysql://192.168.1.175/sync
Patch Script: /root/sync/sync.20120713.patch.sql
Revert Script: /root/sync/sync.20120713.revert.sql

     我们可以打开文件查看下:

      USE `sync`;
      ALTER TABLE `t1` MODIFY COLUMN `id` int(11) NULL FIRST, ENGINE=InnoDB ROW_FORMAT=Compact;

      这个文件已经将id列 的非空属性设置为空。将这个文件应用到175上即可。!

(PS:此为简单测试。在生成环境下,可以用shell循环同时同步多个库,对于DBA来说,最好在应用更改之前,必须审核一下该SQL,评估下对线上的影响,考虑在线DDL等工具)

     官方地址:http://schemasync.org/






本文转自 位鹏飞 51CTO博客,原文链接http://blog.51cto.com/weipengfei/930142,如需转载请自行联系原作者

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
2月前
|
安全 关系型数据库 MySQL
如何将数据从MySQL同步到其他系统
【10月更文挑战第17天】如何将数据从MySQL同步到其他系统
209 0
|
2月前
|
SQL 存储 关系型数据库
Mysql主从同步 清理二进制日志的技巧
Mysql主从同步 清理二进制日志的技巧
31 1
|
3月前
|
消息中间件 canal 关系型数据库
Maxwell:binlog 解析器,轻松同步 MySQL 数据
Maxwell:binlog 解析器,轻松同步 MySQL 数据
361 11
|
3月前
|
存储 关系型数据库 MySQL
深入解析MySQL数据存储机制:从表结构到物理存储
深入解析MySQL数据存储机制:从表结构到物理存储
270 1
|
4月前
|
关系型数据库 MySQL Linux
mysql 主从同步 实现增量备份
【8月更文挑战第28天】mysql 主从同步 实现增量备份
52 3
|
4月前
|
消息中间件 关系型数据库 MySQL
实时计算 Flink版产品使用问题之使用CTAS同步MySQL到Hologres时出现的时区差异,该如何解决
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
4月前
|
SQL 缓存 关系型数据库
MySQL主从同步如何操作?
随着业务增长,单台MySQL服务器难以应对高并发访问和潜在的故障风险。主从同步(Master-Slave)通过读写分离提升数据库处理能力,具备多项优势:读写分离减轻主数据库压力、支持一主多从增强扩展性与高可用性、以及数据备份确保容灾恢复。MySQL利用binlog实现主从数据同步,记录所有写操作,不包含查询。binlog有三种格式:Statement(基于SQL语句)、Row(基于行更改)、Mixed(结合前两者优点)。主从复制涉及三个关键线程:主库的binlog dump thread和从库的I/O thread与SQL thread。
106 0
MySQL主从同步如何操作?
|
4月前
|
存储 关系型数据库 MySQL
MySQL主从同步如何保证数据一致性?
MySQL主从同步如何保证数据一致性?
316 0
MySQL主从同步如何保证数据一致性?
|
4月前
|
SQL 存储 关系型数据库
实时计算 Flink版产品使用问题之同步MySQL多张表的过程中,内存释放依赖于什么
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
4月前
|
SQL 存储 关系型数据库
MySQL主从同步延迟原因与解决方法
MySQL主从同步延迟原因与解决方法
648 0