MySQL replication学习笔记

replication主从，主主都是以前做的，但忘的很快，今天复习一下，顺便做点笔记了，visio也有段时间没有用了，大致画了了一个原理图:

 

1，主服务器记录二进制日志。

2，从服务器把主服务器的二进制日志拷贝到自已的中继日志中。（详细过程：首先它先启动一个名称为I/O线程的工作线程,这个I/O线程开启一个普通的客户端连接，然后启动一个特殊的二进制日志转储进程，这个转储进程从主服务器的二进制日志中中读取事件。它不会对事件进行轮询。如果它跟上了主服务器，就会进入休眠状态，并等待有新事件发生时主服务器发出的信号。I/O线程把事件写入从服务器的中继日志中。）

3，从服务器重放中继日志中的事件，把更改应用到自已的数据上。（SQL线程读取了中继日志，并且重放其中的事件，然后更新从服务器的数据，由于这个线程能跟上I/O线程一，中继日志通常位于操作系统缓存中，所以中继日志的开销很低。）

 

主服务器中的复制线程：

mysql> show processlist\G;
*************************** 1. row ***************************
     Id: 2
   User: root
   Host: localhost
     db: NULL
Command: Query
   Time: 0
  State: NULL
   Info: show processlist
*************************** 2. row ***************************
     Id: 3
   User: chlotte
   Host: 192.168.0.178:36643
     db: NULL
Command: Binlog Dump
   Time: 57
  State: Has sent all binlog to slave; waiting for binlog to be updated
   Info: NULL
2 rows in set (0.00 sec)

ERROR: 
No query specified

mysql>

 

从服务器上的I/O线程与SQL线程:

mysql> show processlist\G;
*************************** 1. row ***************************
     Id: 3
   User: root
   Host: localhost
     db: NULL
Command: Query
   Time: 0
  State: NULL
   Info: show processlist
*************************** 2. row ***************************
     Id: 4
   User: system user
   Host: 
     db: NULL
Command: Connect
   Time: 71
  State: Waiting for master to send event
   Info: NULL
*************************** 3. row ***************************
     Id: 5
   User: system user
   Host: 
     db: NULL
Command: Connect
   Time: 48
  State: Has read all relay log; waiting for the slave I/O thread to update it
   Info: NULL
3 rows in set (0.00 sec)

ERROR: 
No query specified

 

 

与复制相关的参数列表：

Sync_binlog=1	mysql 在每次提交事务的时候把二进制日志的内容同步到磁盘上，所以即使服务器崩溃也会把事件写入日志中。
Skip_slave_start	会阻止从服务器在崩溃后自动启动，它可以给你机会修复服务器。
Mysql-bin.index	记录了磁盘上的二进制日志文件，这里的 index 并不是指表的索引，而是指这个文件中每一行包含了二进制日志文件的文件名。
Mysql-relay-bin.index	中继日志的索引文件，其作用和二进制日志文件的索引文件相同。
Master.info	记录了复制用户的密码，它是纯文本格式的（每行一个值），随 mysql 版本变化而变化，应该对该文件的访问进行限制。
Relay-log.info	记录了当前二进制日志和中继日志的坐标，删除它的后果是服务器在重启之后就会忘记复制的位置，并可能重复复制。
Expire_logs_days	定义了 mysql 清除过期日志的时间。
Log_slave_updates	可以把一台从服务器变成主服务器，它指导 mysql 把自已执行的事件写入二进制日志中，然后自已的从服务器可就可以执行这些事件。

 

复制的过滤主要有２种方式：

1，在主服务器在把事件从进二制日志中过滤掉，相关的参数是:binlog_do_db和binlog_ignore_db。

2，在从服务器上把事件从中继日志中过滤掉，相关的参数是replicate_*。

 

 

复制只能扩展读取，不能扩展写入，对数据进行分区可以进行扩展写入。

 

 

复制常见的问题：

一，从服务器到底落后于主服务器多少？用Maatkit工具里面的mk-heartbeat脚本。

二，如何确定主从服务器的数据是否一致？用Maatkit工具里面的mk-table-checksum脚本。

 

 

复制的优化：

 

在mysql复制环境中,有8个参数可以让我们控制,需要复制或需要忽略不进行复制的DB或table分别为:

下面二项需要在Master上设置：

Binlog_Do_DB:设定哪些数据库需要记录Binlog

Binlog_Ignore_DB:设定哪里数据库不需要记录Binlog

 

优点是Master端的Binlog记录所带来的Io量减少，网络IO减少，还会让slave端的IO线程,SQL线程减少，从而大幅提高复制性能,

缺点是mysql判断是否需要复制某个事件不是根据产生该事件的查询所在的DB,而是根据执行查询时刻所在的默认数据库（也就是登录时指定的库名或运行"use database"中指定的DB）,只有当前默认DB和配置中所设定的DB完全吻合时IO线程才会将该事件读取给slave的IO线程.所以,如果在默认DB和设定须要复制的DB不一样的情况下改变了须要复制的DB中某个Table中的数据,该事件是不会被复制到Slave中去的,这样就会造成Slave端的数据和Master的数据不一致.同样,在默认的数据库下更改了不须要复制的数据库中的数据,则会被复制到slave端,当slave端并没有该数据库时,则会造成复制出错而停止.

 

 

 

下面六项需要在slave上设置：

Replicate_Do_DB:设定需要复制的数据库,多个DB用逗号分隔

Replicate_Ignore_DB:设定可以忽略的数据库.

Replicate_Do_Table:设定需要复制的Table

Replicate_Ignore_Table:设定可以忽略的Table

Replicate_Wild_Do_Table:功能同Replicate_Do_Table,但可以带通配符来进行设置。

Replicate_Wild_Ignore_Table:功能同Replicate_Do_Table,功能同Replicate_Ignore_Table,可以带通配符。

 

优点是在slave端设置复制过滤机制,可以保证不会出现因为默认的数据库问题而造成Slave和Master数据不一致或复制出错的问题.

缺点是性能方面比在Master端差一些.原因在于:不管是否须要复制,事件都会被IO线程读取到Slave端,这样不仅增加了网络IO量,也给Slave端的IO线程增加了Relay Log的写入量.

 

 

 

 

 

 

主从复制的配置实例:

主服务器：192.168.0.176

从服务器：192.168.0.178

 

1,分别在主从服务器上执行下面的授权语句：

mysql> grant replication slave,replication client on *.* to  chlotte@'192.168.0.%' identified by 'chlotte';
Query OK, 0 rows affected (0.00 sec)

mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)

 

2,查看主服务器上的binlog位置：

mysql> show master status;
+------------------+----------+--------------+------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+------------------+----------+--------------+------------------+
| mysql-bin.000009 |      195 |              |                  |
+------------------+----------+--------------+------------------+
1 row in set (0.00 sec)
 

3，在从服务器上执行chang master语句：

[root@localhost ~]# mysql -uroot -pourgame;
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 1
Server version: 5.1.42-community MySQL Community Server (GPL)

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> change master to master_host='192.168.0.176',
    -> master_user='chlotte',
    -> master_password='chlotte',
    -> master_log_file='mysql-bin.000009',
    -> master_log_pos=0;
Query OK, 0 rows affected (0.04 sec)

mysql> show slave status\G;
*************************** 1. row ***************************
               Slave_IO_State: 
                  Master_Host: 192.168.0.176
                  Master_User: chlotte
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: mysql-bin.000009
          Read_Master_Log_Pos: 4
               Relay_Log_File: localhost-relay-bin.000001
                Relay_Log_Pos: 4
        Relay_Master_Log_File: mysql-bin.000009
             Slave_IO_Running: No
            Slave_SQL_Running: No
              Replicate_Do_DB: 
          Replicate_Ignore_DB: 
           Replicate_Do_Table: 
       Replicate_Ignore_Table: 
      Replicate_Wild_Do_Table: 
  Replicate_Wild_Ignore_Table: 
                   Last_Errno: 0
                   Last_Error: 
                 Skip_Counter: 0
          Exec_Master_Log_Pos: 4
              Relay_Log_Space: 106
              Until_Condition: None
               Until_Log_File: 
                Until_Log_Pos: 0
           Master_SSL_Allowed: No
           Master_SSL_CA_File: 
           Master_SSL_CA_Path: 
              Master_SSL_Cert: 
            Master_SSL_Cipher: 
               Master_SSL_Key: 
        Seconds_Behind_Master: NULL
Master_SSL_Verify_Server_Cert: No
                Last_IO_Errno: 0
                Last_IO_Error: 
               Last_SQL_Errno: 0
               Last_SQL_Error: 
1 row in set (0.00 sec)

ERROR: 
No query specified

mysql> start slave;
Query OK, 0 rows affected (0.00 sec)

mysql> show slave status\G;
*************************** 1. row ***************************
               Slave_IO_State: Waiting for master to send event
                  Master_Host: 192.168.0.176
                  Master_User: chlotte
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: mysql-bin.000009
          Read_Master_Log_Pos: 338
               Relay_Log_File: localhost-relay-bin.000002
                Relay_Log_Pos: 483
        Relay_Master_Log_File: mysql-bin.000009
             Slave_IO_Running: Yes
            Slave_SQL_Running: Yes
              Replicate_Do_DB: 
          Replicate_Ignore_DB: 
           Replicate_Do_Table: 
       Replicate_Ignore_Table: 
      Replicate_Wild_Do_Table: 
  Replicate_Wild_Ignore_Table: 
                   Last_Errno: 0
                   Last_Error: 
                 Skip_Counter: 0
          Exec_Master_Log_Pos: 338
              Relay_Log_Space: 642
              Until_Condition: None
               Until_Log_File: 
                Until_Log_Pos: 0
           Master_SSL_Allowed: No
           Master_SSL_CA_File: 
           Master_SSL_CA_Path: 
              Master_SSL_Cert: 
            Master_SSL_Cipher: 
               Master_SSL_Key: 
        Seconds_Behind_Master: 0
Master_SSL_Verify_Server_Cert: No
                Last_IO_Errno: 0
                Last_IO_Error: 
               Last_SQL_Errno: 0
               Last_SQL_Error: 
1 row in set (0.00 sec)

ERROR: 
No query specified