mysql4.0做主从时主库的备份脚本

简介:

   mysql4.0是老版本了,但是有些早期使用的企业依然在用,在创建主从时特别是线上服务器创建主从时,保证数据的一致性是个大问题:比如创建完从库同步时出现重复数据重复执行(虽然数据条数一致,但数据有可能会不一致)等。在mysql5.0以上版本中,此时备份主库只用在mysqldump时加上-F、master-data=2,single-transaction参数,从库同步时导入备份,在取备份文件开头的bin-log和pos位置进行同步即可,不会出现数据重复执行等问题,他能确保同步时的一致性。比较悲剧的是,本人所用的数据库还没有升级,是4.0的版本,经过测试,写了一个专一用于4.0主从同步时主库备份的脚本,原理就是模拟5.0以上的备份过程来做的。也可以用于5.0以上的版本,但是5.0以上的版本没有必要这么做。大家可以参考。

 

 
  1. #!/usr/bin/env python  
  2. # -*- coding: utf-8 -*-  
  3. #last update:2012-10-25  
  4.  
  5. import os,sys,time,MySQLdb  
  6. import subprocess,threading  
  7.  
  8. class mysql_dump():  
  9.  
  10.     def __init__(self):  
  11.         self.STAT_IP = "192.168.1.110" 
  12.         self.logfile = "/data/script/db_back/mysql_dump.log" 
  13.         self.user = "dump" 
  14.         self.passwd = "123456" 
  15.         self.distid = "2" 
  16.  
  17.     def log_w(self,text):  
  18.         now = time.strftime("%Y-%m-%d %H:%M:%S")  
  19.         tt = str(now) + "\t" + str(text) + "\n" 
  20.         f = open(self.logfile,'a+')  
  21.         f.write(tt)  
  22.         f.close()  
  23.  
  24.     def dump(self,dumpname,now):  
  25.         cmd = "/usr/local/mysql/bin/mysqldump -A -Q -e --add-drop-table --add-locks --extended-insert --quick --no-autocommit --single-transaction -u%s -p%s | bzip2 -2 > %s" % (self.user,self.passwd,dumpname)  
  26.         print time.strftime("%Y-%m-%d %H:%M:%S")  
  27.         text = "Start mysqldump,Please wait ..." 
  28.         print text  
  29.         self.log_w(text)  
  30.         a = subprocess.Popen(cmd,shell=True)  
  31.         while 1:  
  32.             b = subprocess.Popen.poll(a)  
  33.             if b == 0:  
  34.                 text = "Mysqldump complete" 
  35.                 print text  
  36.                 self.log_w(text)  
  37.                 break 
  38.             elif b is None:  
  39.                 print  'Mysqldump running' 
  40.                 time.sleep(30)  
  41.             else:  
  42.                 print a.pid,'term' 
  43.                 break 
  44.         self.rsync(dumpname)  
  45.  
  46.     def rsync(self,dumpname):  
  47.         cmd = "rsync -az %s %s::asktao_db/db_back/" % (dumpname,self.STAT_IP)  
  48.         text = "Start rsync to server(%s) ,Please wait ..." % self.STAT_IP  
  49.         print text  
  50.         self.log_w(text)  
  51.         a = subprocess.Popen(cmd,shell=True)  
  52.         while 1:  
  53.             b = subprocess.Popen.poll(a)  
  54.             if b == 0:  
  55.                 text = "Rsync complete" 
  56.                 print text  
  57.                 self.log_w(text)  
  58.                 break 
  59.             elif b is None:  
  60.                 print  'Rsync running' 
  61.                 time.sleep(30)  
  62.             else:  
  63.                 print a.pid,'term' 
  64.                 break 
  65.  
  66.     def bin_log(self):  
  67.         try:  
  68.             conn = MySQLdb.connect(host = '127.0.0.1',user = 'repl_monitor',passwd = '123456',connect_timeout=5)  
  69.             cursor = conn.cursor()  
  70.             cursor.execute("show master status")  
  71.             alldata = cursor.fetchall()  
  72.             cursor.close()  
  73.             conn.close()  
  74.             file = alldata[0][0]  
  75.             Position = alldata[0][1]  
  76.             text = "show master status: %s  %s" % (file,Position)  
  77.             print text  
  78.             self.log_w(text)  
  79.             return file,Position  
  80.         except MySQLdb.Error,e:  
  81.             text = e.args  
  82.             print text  
  83.             self.log_w(text)  
  84.             sys.exit()  
  85.  
  86.     def lock(self):  
  87.         try:  
  88.             conn = MySQLdb.connect(host = 'localhost',user = self.user,passwd = self.passwd,connect_timeout=5)  
  89.             cursor = conn.cursor()  
  90.             text = "flush tables with read lock" 
  91.             print text  
  92.             self.log_w(text)  
  93.             cursor.execute("flush tables with read lock")  
  94.             text = "flush logs" 
  95.             print text  
  96.             self.log_w(text)  
  97.             cursor.execute("flush logs")  
  98.             file,Position = self.bin_log()  
  99.             now = time.strftime("%Y%m%d%H%M")  
  100.             dumpname = "/data/script/db_back/wd_%s_%s_%s_%s.bz2" % (self.distid,now,file,Position)  
  101.             d = threading.Thread(target=self.dump, args=(dumpname,now))  
  102.             d.start()  
  103.             while 1:  
  104.                 if os.path.isfile(dumpname) and os.path.getsize(dumpname) > 0:  
  105.                     text = "UNLOCK TABLES" 
  106.                     print text  
  107.                     self.log_w(text)  
  108.                     cursor.execute("UNLOCK TABLES")  
  109.                     cursor.close()  
  110.                     conn.close()  
  111.                     break 
  112.         except MySQLdb.Error,e:  
  113.             text = e.args  
  114.             print text  
  115.             self.log_w(text)  
  116.             sys.exit()  
  117.  
  118.     def work(self):  
  119.         t = threading.Thread(target=self.lock, args=())  
  120.         t.start()  
  121.  
  122.  
  123. if __name__ == "__main__":  
  124.     boss = mysql_dump()   
  125.     boss.work() 

 


本文转自 lover00751CTO博客,原文链接:http://blog.51cto.com/wangwei007/1009921,如需转载请自行联系原作者


相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
相关文章
|
9月前
|
关系型数据库 MySQL Linux
MySQL包安装 -- SUSE系列(SUSE资源库安装MySQL)
本文介绍了在openSUSE系统上通过SUSE资源库安装MySQL 8.0和8.4版本的完整步骤,包括配置国内镜像源、安装MySQL服务、启动并验证运行状态,以及修改初始密码等操作,适用于希望在SUSE系列系统中快速部署MySQL的用户。
895 3
MySQL包安装 -- SUSE系列(SUSE资源库安装MySQL)
|
9月前
|
运维 Ubuntu 关系型数据库
MySQL包安装 -- Debian系列(Apt资源库安装MySQL)
本文介绍了在Debian系列系统(如Ubuntu、Debian 11/12)中通过APT仓库安装MySQL 8.0和8.4版本的完整步骤,涵盖添加官方源、配置国内镜像、安装服务及初始化设置,并验证运行状态,适用于各类Linux运维场景。
2742 0
MySQL包安装 -- Debian系列(Apt资源库安装MySQL)
|
9月前
|
存储 关系型数据库 MySQL
MySQL介绍和MySQL包安装 -- RHEL系列(Yum资源库安装MySQL)
MySQL是一款开源关系型数据库,高性能、易用、跨平台,支持多种存储引擎,广泛应用于Web开发、企业级应用等领域。本教程介绍其特点、架构及在主流Linux系统中的安装配置方法。
1484 0
MySQL介绍和MySQL包安装 -- RHEL系列(Yum资源库安装MySQL)
|
11月前
|
存储 关系型数据库 MySQL
在CentOS 8.x上安装Percona Xtrabackup工具备份MySQL数据步骤。
以上就是在CentOS8.x上通过Perconaxtabbackup工具对Mysql进行高效率、高可靠性、无锁定影响地实现在线快速全量及增加式数据库资料保存与恢复流程。通过以上流程可以有效地将Mysql相关资料按需求完成定期或不定期地保存与灾难恢复需求。
802 10
|
存储 关系型数据库 MySQL
【赵渝强老师】使用select...into outfile语句备份MySQL
本文介绍了MySQL中使用`SELECT...INTO OUTFILE`语句将表数据导出为文本文件的方法。通过示例演示了如何备份员工表(emp)的数据,包括创建存储目录、设置权限、配置参数`secure_file_priv`以及解决相关错误的过程。字段分隔符和行终止符可自定义,确保数据格式符合需求。最后展示了备份文件的内容,验证操作成功。
750 36
|
存储 SQL 关系型数据库
【赵渝强老师】使用mysqldump备份MySQL
本文介绍了 MySQL 自带的逻辑备份工具 mysqldump 的使用方法。通过 mysqldump,可以将数据库中的数据转换为对应的 SQL 插入语句,便于备份和还原。文章详细说明了如何备份所有数据库、指定数据库及特定表,排除某些表不备份的操作,以及删除数据库后如何通过备份文件恢复数据。同时提供了视频讲解和具体命令示例,帮助用户更好地理解和应用该工具。
1300 5
|
存储 SQL 关系型数据库
【赵渝强老师】使用mydumper备份MySQL
本文介绍了使用mydumper工具进行MySQL数据库备份与恢复的操作方法。相比单线程工作的mysqldump,mydumper支持多线程,速度提升可达10倍。其功能包括事务性表快照、快速压缩、导出binlog等,并提供详细的参数说明和操作步骤。文章通过实例演示了安装mydumper、创建存储目录、全库备份、指定数据库及表备份、删除数据库以及使用myloader恢复数据的完整流程,并附带视频讲解,帮助用户更好地理解和应用该工具。
915 0
|
10月前
|
缓存 关系型数据库 BI
使用MYSQL Report分析数据库性能(下)
使用MYSQL Report分析数据库性能
600 158

推荐镜像

更多